基于视觉的手势识别是人机交互的热点，本文提出一种基于椭圆皮肤模型和深度学习的静态手势识别算法。通过椭圆皮肤模型检测手部皮肤区域，相比于其他方法，更加快速和准确，然后采集手势图片样本，按照不同的手势进行分类保存，最后采用深度学习库Tiny-DNN将获取的训练集进行离线训练、用测试集进行预测统计。该方法有效地解决了手掌小角度旋转问题，相对于其他的方法，具有更高的正确率，并且能适应比较复杂的环境。实验结果表明，该算法在复杂的环境下，采用简单的成像设备进行手势识别，能检测并识别不同角度和大小的手掌，取得比较高的准确率。