双目立体匹配是计算机视觉的重要领域之一。由其获得的深度信息对于场景重建有着非常重要的作用。对于交叉光谱图像对（左、右视角采样于不同谱段的二维图像组）而言，图像匹配点之间由于采样光谱差异而存在灰度差异，所以在立体匹配过程中，基于亮度恒定性假设的传统立体匹配算法会失效。基于上述问题，本文章设计了一种基于HOG的光谱不变性特征描述子，对光谱数据进行光谱不变性特征提取，形成稠密的特征描述子，并计算交叉光谱图像对特征描述子之间的巴氏距离，最后利用马尔科夫随机场估计场景深度信息。本文章分别在双目立体匹配数据集和实际采集的光谱图像对上验证了该交叉光谱立体匹配方法的准确性和鲁棒性。