原创 图像融合系统中多分辨实时处理策略的研究

摘要：多分辨分析在像素级图像融合算法中具有良好的融合效果。文章以Laplacian金字塔多分辨算法为例，详细分析了该算法的可行性和实施的复杂度。在基于TMS320C64x高速定点DSP的像素级双通道图像融合系统中，提出了利用DSPEMIF口的EDMA功能实现的同步双缓冲策略，对图像数据的吞吐、分派与运算的块并行处理进行控制，并对算法的浮点转定点、卷积等密集性运算进行了优化，从而实现了对8位512×512的双通道灰度图像25帧/s的多分辨实时融合。结果表明，该实时处理策略也同样适用于其它的像素级多分辨图像处理系统。

关键词：图像融合；多分辨算法；Laplacian金字塔；实时处理；DSP

前言

多传感器图像融合是指将不同传感器获得的同一景物的图像经过多级别、多方面、多层次的处理，从而产生新的有意义的单一图像，以供后续人眼识别或进一步处理的过程。图像融合能够利用传感器的互补性和冗余性增加置信度、减少模糊性、提高空间分辨能力。这种优势使其在军事、医疗、遥感、机器视觉等领域获得了广泛的应用。目前研究的主流像素级图像融合算法中大多采用了多分辨分析的结构，因其模拟人眼视觉系统对于局部对比度变化的敏感性，故具有良好的目视效果和图像细节表现效果。

然而，多分辨算法的复杂性给实时处理带来了很大难度。近年来，随着高性能数字信号处理器(DSP)处理速度和功能的大幅度提高，基于高速DSP核心的多源图像实时融合系统陆续被提出，而在高速DSP处理平台上如何合理地将数据获取、存储、搬移和输出等并行处理策略与多分辨算法有机结合起来，是实现大画幅图像实时融合的关键。

系统结构

图1所示的是我们研发的基于TMS320C64xDSP的双通道图像实时融合系统原理示意图，可以对两路输入为PAL制式的视频图像实现512×512×25帧/s的实时融合处理。在结构上系统可分为图像采集与输出子系统、DSP处理子系统两部分。

图1　基于TMS320C64xDSP的双通道图像实时融合系统原理示意图

输入的CVBS模拟视频在采集之前必须要完成时间上的配准，即采用外CVBS同步等机制保持2路视频在帧频和行/场同步信号的同步。图像采集与输出子系统利用2片SAA7111，分别完成对输入的同步采集，并按照CCIR601规范输出4∶2∶2格式16位YUV数据和行/场同步信号；利用1片SAA7121负责融合结果输出的数字视频流到CVBS信号的编码。两路视频输入和一路输出的帧缓存都采用了双口SRAM，每片缓存在容量上可以存放一场图像(8bit量化)的灰度数据(128KB)。

在DSP处理子系统中，C64xDSP拥有2个与片外存储器连接的EMIF(ExternalMemoryInterface)口，设计中将64bit的EMIFA口与2片32bit的输入帧缓存和32bit的SDRAM相连，16bit的EMIFB口与16bit的输出帧缓存相连。为了提高传输效率，在设计中，我们将每路SAA7111输出的4个相邻像素的灰度值拼为1个32bit的字送入缓存，输出缓存的16bit也包含了两个相邻的输出像素的灰度值。输入输出像素灰度数据的拼接由2片XC95144CPLD控制实现。除此之外，2片CPLD还分别负责对视频画面采集的裁减、视频同步控制、输入/输出双口RAM的地址发生与读写信号控制、中断及其它与DSP通信信号的产生等逻辑的实现。

多分辨Gaussian类金字塔融合算法的实时实现分析

Gaussian类金字塔是常用的多分辨算法。常用的Gaussian类金字塔有：Laplacian金字塔、FSD(Filter Subtract Decimate)金字塔、对比度金字塔、梯度(Gradient)金字塔等。图2给出了这类金字塔分解与融合重构的通用形式。

多分辨金字塔的建立
多分辨金字塔建立的基础是Gaussian金字塔。输入M×N的源图像G₀作为Gaussian金字塔的底层，它的第l级图像G_l，由高斯窗口函数ω对第l-1级图像_Gl-1卷积和下采样得到(REDUCE运算)：

其中，0≤il，0≤jl，0 l-1尺寸相同的图像G_l-1，再通过某种运算P就得到了l级多分辨金字塔。以Laplacian金字塔为例，P运算规则为：

图2　Gaussian类金字塔的分解与重构的通用形式

融合图像重构
将分解的Gaussian金字塔和多分辨金字塔按一定的融合策略运算后得到的融合图像的金字塔，按照分解的逆过程，经过EXPAND运算和P的逆运算P-1，即可重构出融合后的图像F。如对Laplacian金字塔，对分解后图像的低频部分采取加权平均融合策略：

F_K(i,j)=[LA_K(i,j)+LB_K(i,j)]/2 (3)

其中，LA_K为通道A图像的K层金字塔的顶层；LBK为通道B图像的K层金字塔的顶层；F_K为融合图像金字塔的顶层。对于高频分量F _l-1(i,j)采用“绝对值取大”的融合策略：

F _l-1(i,j)=max|LA _l-1(i,j),LB _l-1(i,j)| (4)

Gaussian类金字塔融合算法的实时性能分析根据前面的分析，Gaussian类金字塔融合处理过程主要涉及分解、融合和重构3个过程，算法主要是矩阵的卷积、和/差等线性乘加运算。以Laplacian金字塔算法为例：

(1)算法的复杂度
对于两幅N×N(N为2的整次幂)的图像融合，在每一层的分解阶段，需要的运算量为4×(N/2^l)2×(2p+1)²次MAC运算，(N/2 ^l-1)²次和/差运算：完成融合总共的运算量(包括融合图像重构)为(5/3)×N²×(2p+1)²次MAC运算，4N2次和/差运算；对于512×512×25帧/s的融合，取滤波窗口大小为3×3，则所需要的运算量为每秒1亿次MAC运算，0.3亿次和/差运算。

(2)存储占用
完成整个融合的处理过程，需要存储输入源图像分解的每一层Laplacian金字塔数据和输出图像重构的金字塔数据。经计算，对于一场数据的融合，总共占用的存储空间约为1.5MB。

(3)精度要求
由于选用了定点的DSP作处理核心，因此需要考虑算法精度对字长的要求。一般说来，除法和乘方对精度的影响最大，乘/加运算影响相对较小。在乘运算中，为了保证运算结果不溢出，传统的做法是反复对数据重新定标，但这样将大大增加运算量。事实上，Gaussian滤波窗口均可分解为某个系数和一个整型矩阵的乘积，且该系数一般不会比1/256小。同时，对于Laplacian金字塔融合算法，当输入数据为8bit定点数时，Laplacian金字塔各级中的数据取值不会超过区间[-255,255]。因此只要将中间运算的数据位宽取16位，便可既保障输出精度，又不需增加定标运算，从而简化了处理。

多分辨算法的实时实现策略

我们在前面所述的融合系统上进行了多分辨算法移植，并采取了多种策略保证处理的实时性。

(1)算法的选择
在诸多Gaussian类金字塔融合算法中，Laplacian金字塔融合算法运算相对较为简单，实际的融合效果较好，而且算法只涉及乘、加，便于DSP实时计算。因此，这里选择了Laplacian金字塔融合算法作为系统硬件实现的首选方案，融合层数根据经验和实际效果取3层。

(2)同步双缓冲策略
我们在DSP应用子系统中利用C64x的EMIFA口扩充了64MBSDRAM用于输入和输出图像的存储。传统DSP的处理方法是采用单缓冲的处理机制，在数据存储区设置一对“乒乓”缓冲区，保证处理和输入/输出的并行执行。但由于多分辨算法较复杂，占用存储空间较大，而且在SDRAM区执行非线性地址的数据访问时的效率很低，因此我们根据C64x的特点，提出了同步双缓冲的数据传输与处理策略。所谓同步，是指对两路图像输入进行同步处理操作，考虑到C64x拥有1MB的高速L2D数据缓存，与DSP核间的数据传输带宽为SDRAM的8倍，将运算放到L2D中执行将大大节约时间。但根据前面的分析，除去L2D作为程序存储区和堆栈区的部分之后，L2D的容量还不足以满足一场图像融合的存储需要。为此，我们在L2D与SDRAM之间又设置了一级缓冲机制，将一场图像分为上下两个半场分开处理。

整个处理过程如图3所示。执行的基本过程为：当输入帧满时，EDMA将该场的数据搬移到DSP的片外存储器SDRAM，同时，分次将前一场上/下半场的数据搬移到DSP的L2D空间进行融合处理。再把每半场融合数据送到SDRAM暂存，最后将一场的融合结果送输出帧存。

图3　同步双缓冲处理过程

由于EDMA在无需CPU参与的情况下，能完成DSP各存储空间之间的数据搬移，因此可将搬移数据和融合处理并行起来。将k帧奇场图像数据积累时系统所做的工作展开，得到整个执行过程的时2空图，如图4所示。其中Ⅰ、Ⅱ分别代表上、下半场的数据，横向代表顺序执行，纵向代表并行执行。由于数据搬移的时间小于数据处理的时间，合理安排数据搬移和数据处理的并行执行之后，融合处理所耗费的时间主要由数据处理决定。实验结果显示，完成一场的融合处理，总共花费约14ms，达到了25帧/s的实时处理要求。

图4　实时处理过程的时2空图

图5给出了我们采用可见光CCD和长波红外热像仪获取的图像作为图像源的实际融合效果。图中有一个正在加热的电烙铁，另外，用布遮住了两个装了热水的杯子。可以看出融合图像较好地萃集了可见光图像和红外图像中的信息。

(a)可见光源图像　　 　(b)红外源图像　　 　(c)融合图像
图5　处理效果图

结语

本文介绍了在高速定点DSP上实施Laplacian多分辨金字塔实时融合处理的基本方法；对算法的优化，并行调度策略等进行了分析。实验结果表示，这些方法得到了较好的融合效果，保证了实时性。这些实时处理策略也可以应用在其它的像素级多分辨图像处理系统上，以满足预期实时性要求。