针对目前彩色图像滤波算法在高密度脉冲噪声下去除噪声性能较差并且计算量较高的问题，提出了一种基于参考距离最小的快速矢量滤波算法。该算法首先对图像中噪声进行检测，然后计算滑动窗口的标量中值滤波结果，并将其作为参考向量，通过计算滑动窗口中全部像素与参考向量间的欧氏距离，选取与参考向量距离最短的像素作为最终的滤波输出结果。与现有方法相比，所提方法表现出更好的去噪效果，且具有更低的计算复杂度。