针对动态手势识别的问题，首先利用Kinect传感器获取手势的深度图像，结合彩色图像和深度图像对手势进行分割。然后将提取的手势特征作为隐马尔科夫模型的输入，在实验过程中提出对隐马尔科夫模型参数进行调优，进而提高动态手势识别率。最后将优化后的手势识别的方法运用于三维地球仿真系统中，利用传感器获取的人体骨骼信息，实现了手势对平台进行实时控制，并具有较高的准确率和识别率，大大提高了人们的交互体验。