原创 【转】基于FPGA的VGA显示控制器的设计

 随着CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)图像传感器制造工艺的发展，图像传感器的分辨率越来越高，如果要实时显示图像传感器采集到的图像，则要求图像处理芯片有较高的运行速度，但由于需要处理的数据量太大，一般的数字信号处理器很难直接输出分辨率为1024×768，帧频为60 Hz的标准XGA信号。这就需要对DSP输出的图像数据进行处理，使图像能够在VGA显示器上实时显示。市场上虽然也有一些专门图像处理芯片，但其价格昂贵，且应用于特殊场合。本文设计的显示控制器可以达到提升帧频的功能，可使输入分辨率为1024×768，帧频为7.5HZ的YCbCr(4:2:2)图像信号提升到帧频为60HZ，并通过色空间转换，将YCbCr(4:2:2)图像信号转换成RGB格式的标准XGA信号，同时产生符合VESA标准的XGA格式的行、场同步信号，输出信号经D/A转换后可直接输出到VGA接口，从而可使图像传感器采集到的图像数据能够在VGA显示器上实时显示。
    随着微电子技术及其制造工艺的发展，可编程逻辑器件的逻辑门密度越来越高，功能也越来越强，由于FPGA器件的可并行处理能力及其可重复在系统编程的灵活性，其应用越来越广泛。随着微处理器、专用逻辑器件、以及DSP算法以IP核的形式嵌入到FPGA中，FPGA可实现的功能越来越强，FPGA在现代电子系统设计中正发挥着越来越重要的作用。本文设计的显示控制器就是用VHDL语言描述，基于FPGA而实现的。该系统硬件框图如图1所示。
 
图1 系统硬件框图

1 显示控制器的设计
1.1 工作原理
    图像传感器采集到的原始图像数据，经过A/D转换及DSP处理后，生成每秒7.5帧的图像数据，该数据是分辨率为1024×768的YCbCr(4:2:2)格式的16位图像数据。DSP输出到FPGA的信号有象素时钟，行、场参考，图像数据。FPGA在输入的行、场参考都有效时，在输入象素时钟的同步下，接收图像数据，并送入到SDRAM中， 同时从另一个SDRAM 中读取数据，并通过色空间转换，将YCbCr(4:2:2)信号转换成RGB信号。当SDRAM 中写满一帧图像数据时，控制器对两个SDRAM进行读、写切换。由于写数据速率小于读数据速率，所以在往一个SDRAM写满一帧图像数据的时间内，控制器能够连续多次从另一个SDRAM中读出另一帧图像数据，从而实现了提高帧频的目的。FPGA输出的RGB格式数据经D／A转换后，将数据转换成模拟信号，配合行、场同步信号可使其在VGA显示器上显示。外部晶振输入32.5MHZ的时钟，该时钟在FPGA内经时钟锁相环倍频后产生65MHZ的主时钟，用于对两个SDRAM进行读写和用来产生符合VESA标准的XGA格式的行、场同步信号。

1.2 控制器的内部模块介绍
    本设计采用模块化设计原则，按照现代EDA工程常用的“自顶向下“的设计思想，进行功能分离并按层次设计，用VHDL语言实现每个模块的功能。该显示控制器主要由以下七个功能模块组成:

1. 
   
2. 用于从DSP接收数据的输入缓冲模块
   
3. 用于对两个SDRAM进行读写切换的主控制器模块
   
4. SDRAM1的控制器模块
   
5. SDRAM2的控制器模块
   
6. 用于产生标准XGA格式的时序发生器模块
   
7. 用于从SDRAM中读取数据并配合行、场同步输出数据的输出缓冲模块
   
8. 用于将YCbCr(4:2:2)转换成RGB格式的色空间转换模块。

    该显示控制器的内部结构如图2所示。上电后，显示控制器首先对两片SDRAM进行初始化，初始化结束后，其它模块才开始工作。下面将详细介绍各个模块的功能及设计思想。
 
图2 显示控制器的内部结构
1.2.1 数据输入缓冲模块
    数据输入缓冲模块为深度为1024、宽度为16bit的异步FIFO (先进先出)，写时钟为DSP输出的12MHZ的象素时钟，读时钟为经时钟锁相环倍频后的65MHZ的主时钟，通过场下降沿检测，来确保从一帧开始时接收数据。当输入的原始图像数据的行、场参考信号都有效时，该FIFO的写使能有效，在输入象素时钟的同步下，开始接收数据，写地址计数器为0到1023的循环计数器，当其计数到511或1023时，给主控制器发读信号，主控制器随后产生FIFO的读使能信号，使读使能信号在连续的512个读时钟周期内一直有效，即可连续读出512个数据。由于读时钟频率大于写时钟频率，所以不会产生数据写满溢出的现象。

1.2.2 主控制器模块
    该模块为显示控制器的主要控制部分，通过对输入缓冲的读请求信号和输出缓冲的写请求信号处理，来实现对两个SDRAM的读、写切换。上电后，该模块接收从输入缓冲中读出的数据并将其写入到SDRAM 1中，同时从SDRAM2中读出数据，送入到输出缓冲中，当然最初读出的数据为无效数据。当SDRAM1中写满一帧图像数据，即1024×768个有效数据后，该模块对两个SDRAM进行读、写切换，即将接收数据写入到SDRAM2中，同时从SDRAM 1中读出数据，一直按此规则进行读、写切换。两个SDRAM的读、写地址发生器靠主控制器内部的计数器来实现。

1.2.3 SDRAM控制器模块
    该模块首先完成对SDRAM 的初始化，初始化过程为:上电后等待200 us，然后对所有BANK发预充命令，接着发出八个自动刷新命令，然后进行模式设置，模式设置时将SDRAM设置成连续的全页并发模式，即512并发。
    初始化结束后，SDRAM进入正常工作状态，准备接收读、写命令。当SDRAM在空闲状态下，为保持其数据不丢失，必须对其进行定时刷新，一般要求64ms内刷新4096次，通常根据时钟频率，用计数器计时钟脉冲到15.625 us时，发自动刷新命令，但是当SDRAM在进行读、写进发时，自动刷新命令会打断读、写，从而造成数据丢失。该设计中，由于在64ms内对SDRAM至少进行4096次读、写操作，所以可以不必对其进行刷新。
    由于SDRAM被设置成全页并发，预充命令可停止并发，所以当SDRAM读、写到511时，发出预充命令，来停止并发，同时关闭当前行，为下一次读、写作好准备。SDRAM初始化后，其状态转移图如图3所示。
 
图3 SDRAM初始化后的状态转移图

1.2.4 时序发生器模块
    该模块为输出行、场同步产生模块，利用FPGA内部时钟锁相环倍频后的65MHZ的主时钟产生符合VESA标准的分辨率为1024×768、帧频为60HZ的标准XGA格式的行、场同步信号，同时在行、场参考信号都有效时产生一个信号给输出缓冲模块，作为输出缓冲的读使能信号。根据VESA标准，分辨率为1024×768、帧频为60HZ的标准XGA信号的象素时钟为65MHZ，行同步信号的有效时间相当于1024个象素时钟周期，同步头宽度相当于136个象素时钟周期，前肩宽度为相当于26个象素时钟周期，后肩宽度为相当于162个象素时钟周期。场同步信号的有效时间相当于768个行周期长度，同步头为6个行周期长度，前肩为3个行周期长度，后肩为29个行周期长度。根据此标准，当行、场参考信号都有效时，一幅图像可输出1024×768个有效数据。该模块的时序仿真波形如图4所示。

1.2.5 输出缓冲模块
    该模块为深度为1024、宽度为16bit的异步FIFO(先进先出)，写时钟和读时钟同为65MHZ的主时钟，SDRAM初始化结束后，该模块先从SDRAM2中读出1024个数据，然后才使时序发生器模块开始工作，当读使能有效时，在读时钟同步下，读地址计数器从0到1023循环计数，当计数器计到100或700时，该模块向主控制器模块发写请求命令，从而每次可从SDRAM中连续读出512个数据，由于在输出行、场消隐期间，读使能信号无效，所以，不会产生读空现象。

1.2.6 色空间转换模块
    输出缓冲模块输出YCbCr(4:2:2)格式的信号，其输出顺序如表1所示。本设计采用临近插值法，插值后的YCbCr格式如表2所示。

表1 YCbCr(4:2:2)图像格式

Y0Cb0

Y1Cr0

Y2Cb2

Y3Cr2

Y4Cb4

Y5Cr4

……

  

表2 插值后的YCbCr图像格式

Y0Cb0Cr0

Y1Cb2Cr0

Y2Cb2Cr2

Y3Cb4Cr2

Y4Cb4Cr2

……

    YCbCr色空间到RGB色空间的转换公式为：
 
其中Y的范围是(16，235)，Cb、Cr的范围是(16，240)，为了防止相减后为负出现溢出，对转换公式变形得:
 
    用VHDL语言描述小数乘法时，通常是将小数扩大2的整数幂次方倍后，取整进行乘法运算，然后将结果进行移位操作。当需要对运算结果进行四舍五入时，可以在运算时加0.5，然后对运算结果取整。下面将对R的运算过程进行描述，运算精度取11位。
R=(1.164Y+1.596Cr)-222.912+0.5
= (1.164Y+1.596Cr)-222.412
= (1/2¹¹) [(2384Y+3296Cr)-455499]
    将方括号中的运算结果右移11位，即可得到R的值。Cb、Cr的运算过程与此类似。
    色空间转换模块输出24bit RGB(8:8:8)信号，该信号经D/A转换后，配合时序发生器模块产生的行、场同步信号，即可在VGA显示器上显示。
    色空间转换模块之所以放在输出缓冲模块后，主要是为了减少输入缓冲和输出缓冲模块中的先进先出及SDRAM的存储空间，如在相同精度下，SDRAM存储一帧图像将会占用1024×768×24bit的存储空间，色空间转换模块放在输出缓冲模块后，将会减少1/3的存储空间。

2 显示控制器的硬件实现
    该显示控制器是基于Xilinx公司的Spartan-IIE系列FPGA XC2S300E-6-PQ208C设计实现的。此FPGA逻辑资源丰富，其内有30万个系统门，6912个逻辑单元(LC)，1536个可配置逻辑快(CLB)，64Kbit的块RAM，146个可用的I/O口，4个数字延迟锁相环(DLL)。块RAM可实现大量数据的内部存储，延迟锁相环可对时钟进行管理，可自动调整并消除输入时钟与FPGA内部时钟之间的相位偏移，同时还可实现对时钟的分频、倍频和移相。
    用于帧缓存的两个SDRAM 的型号为HY57V281620HCST，此SDRAM 为Hynix公司生产的高速存储器，其内有四个Bank，每个Bank的存储空间为2M×16bit，可应用于需存储大量数据的场合。

3 结论与展望
    本文设计的显示控制器具有很强的灵活性，当输入图像格式改变时，只需在色空间转换模块做相应修改，便可实现不同格式图像的VGA显示。基于该显示控制器而研发的高分辨率监控摄像机、数字视频展台等产品可广泛应用在教育、银行、煤矿、交通、医疗等领域。