对于传统实时彩色图像边缘检测算法具有较弱的抗噪能力，并且对于方向较为敏感，获得的边缘细节信息比较粗等问题，本文利用对彩色图像的特点进行分析，提出基于FPGA的实时彩色图像边缘检测系统。利用边缘检测算法方向模板的扩展，使算子对于具有复杂纹理的图像抵抗噪声及适应能力提高。最后对设计的系统进行实验，通过实验结果表示，此系统在处理过程中只是占用了2%的系统硬件资源，资源占用较为合理，并且图像的边缘定位较为精准，具有较强抗造能力，能够将彩色图像边缘提取出来。