原创 一种基于局部信息的脸部特征定位方法

　　脸部特征定位，即在图像或图像序列的给定区域内搜索部分或所有人脸特征(如眼、鼻、嘴、耳等)的位置、关键点或轮廓线。其中包括眼睛、鼻子、嘴巴、下颌、耳朵以及人脸外轮廓等所有需要提取特征点的位置。脸部特征定位可以为人脸识别、姿态表情分析、人脸跟踪等研究工作提供重要的几何信息，特征定位的准确与否直接关系到后续应用的可靠性因而具有举足轻重的地位。

　　ASM(Active Shape Models)是基于几何形状信息的方法之一，由Cootes等于1992年提出。它采用点分布模型(Point Distribution Model，PDM)描述形状变化，另一方面计算各特征点法线方向上灰度值的一阶偏导，并建立局部纹理模型。在搜索时通过纹理模型得到当前点的最佳匹配位置，然后调节形状模型，最终达到对特征的精确定位。由于匹配准则的问题ASM容易陷入局部极小点，对于初始位置要求比较高。

　　Wiskott等将Gabor小波用于人脸识别领域，提出了弹性图的概念并用于脸部特征的定位。该方法可以适用于一定程度的姿态及表情变化，实践证明是有效的。由于该方法在搜索时需要在整幅图上寻找特征点的最佳匹配位置，这一过程十分费时，计算量也很大。Jiao等使用Gabor小波提取局部纹理特征，Gabor特征的幅值与相位包含了丰富的人脸局部纹理信息，在搜索时可以提供指导。由进一步的研究分析可知，不仅特征点的Gabor系数特征包含局部纹理的有用信息，特征点周围邻域中各点的Gabor系数特征也是很有用的。基于此，提出了一种基于局部信息的脸部特征定位方法RGASM(Region GaborASM)。

　　1 标准ASM介绍

　　1．1 形状建模

　　如图1所示，在ASM中目标形状用分布在脸轮廓、眼睛及嘴等位置处的一组点的坐标来表示，同类目标形状构成一个训练集。为了描述训练集中各形状相对于平均形状的变化，需要建立一个点分布模型(PDM)。该模型给出训练集中各形状的平均形状，同时提供一些参数，通过调整这些参数可以控制形状的变化。

　　训练集中的形状矢量数学的表示为X=[x1，x2，…，xn，yl，y2，…，yn]T，通过Procrustes方法将训练集中所有形状进行对齐，然后对形状矢量进行主成分分析，得到

X=X+Pb (1)

　　其中，X是平均形状，P是特征向量矩阵，b是形状参数。

　　矢量b定义了一组形状参数，可以通过改变b中的元素值使式(1)中的形状变化。为了使变化后的形状近似于训练集中的形状，应该将b中元素值的变化范围加以限制。

　　1．2 局部纹理模型

　　局部纹理模型用来描述每个特征点周围区域的纹理特征，ASM的纹理模型是通过统计在特征点所在位置处法线方向采样所得的灰度剖面的一阶差分的变化得到的。

　　对于第i幅图像的第j个特征点，在其法线方向采样得到灰度剖面gij，计算得到训练集中所有图像对于第j个特征点的灰度剖面gij(i=l，2，…，N)，将它们归一化并求得平均值gi以及方差矩阵Si，从而建立局部纹理模型。

　　1．3 搜索过程

　　采用1．1节和1．2节中方法，可以训练出一个灵活的形状模型及局部纹理模型。利用它们可以对新的人脸图像进行特征点搜索，搜索过程的示意图，如图2所示。

　　其中关键是求解达到最佳位置的偏移量。搜索时，同样沿法线方向采样得到比建模时长的搜索剖面，在其中寻找与该点对应的灰度模型的均值矢量最匹配的子特征矢量，并将该子特征矢量中心位置作为当前点的最佳匹配位置。目标函数为子特征矢量gs与该点对应模型的均值矢量gj的Mahalanobis距离

　　分析可知，在当前位置处搜索当前点的最佳匹配位置就需要使得fj(gs)取得最小值。

　　根据以上所述，在搜索时通过纹理模型得到当前点的最佳匹配位置，然后调节纹理模型，通过不断的迭代直到形状的改变量可以忽略不计为止。

　　2 基于Gabor小波变换的脸部特征定位方法

　　2．1 利用Gabor小波变换提取局部纹理特征

　　1964，年，Gabor提出了著名的以自己名字命名的Gabor函数，它是高斯函数在频域中的平移，能够同时在时域和频域中很好的兼顾对信号分析的分辨率要求。二维Gabor函数较好的描述了哺乳动物初级视觉系统对简单视觉神经元的感受特性。Daugman于上世纪80年代首次将其应用在计算机视觉领域。

　　二维Gabor函数表达形式为

　　选择5个不同频率，v=O，…，4及8个方向μ=0，…，7，从而得到40个不同的Gabor滤波器j=μ+8v。式(7)括号中的第二项可以使该小波核与直流分量无关，即可以消除积分项这使得滤波器对图像光照不均的鲁棒性较好。

　　对图像I(x)中的一点x=(x，y)，定义该点灰度值与Gabor。函数的卷积为

　　依次用不同频率与方向组合成的40个Gabor函数进行卷积得到40个复系数，称它们为一个Jet，记作Jj=ajexp(iφj)，用它来表示局部纹理特征。其中幅值aj(x)部分随着x的变化缓慢变化，相位部分φj(x)以与Gabor核频率相近的速度旋转。

　　2．2 纹理建模

　　对于训练集中每幅人脸图像，笔者定义了一组特征点，Pi(i=1，2，…，n)，n是特征点的个数(选取了58个)。对于每个点，Gabor特征计算方法如下

　　以第i幅图第j个特征点为中心在其周围选取一个半径为4的圆形邻域Rij，这里i=1，2，…，N，N为训练集中图像的个数，j=1，2，…，n，n是特征点的个数，计算该区域内每个点对应的Gabor Jet，将这些Jet连接合成一个新的复矢量JetL，J’ij作为该点的局部特征。假设第j个点对应的J’ij(i=1，…，N)服从多变量高斯分布，求其均值为

　　从而用每个均值来代替表示所有的J’ij。

　　2．3 搜索过程

　　搜索与标准ASM的搜索过程类似，只是在估计当前点的偏移量时有所不同。当前点偏移量的估计采取在特征点当前位置周围取块进行全搜索的方法，具体做法如下：以当前Pi点为中心在其周围取一个大小为16×16的方形邻域Rei，采用与建模时相同方法计算邻域中每个点处的特征复矢量Jjs(s=1，…，256)。在Jjs中搜索与该点模型相似度最大的，并将对应点的位置作为当前点的新位置。选取的判定准则为

　　可知，只需使上式中f(s)取得最小值便可以获得当前点Pj的偏移量dxj。相同的方法计算得到各点的偏移量，从而得到形状的改变量dx。

　　3 实验结果及分析

　　为了测试文中提出的方法RGASM的有效性，将它与ASM方法进行比较。这里所用的人脸库是IMM库，从库中挑选了每人两幅共80幅人脸图像作为训练集。图像的大小为640×480，每幅图已经进行了特征点的人工标定。特征点个数为58个，分布在眉毛、眼睛、鼻子、嘴以及外轮廓部位。

　　这里分别做两种误差估计，一种是针对单幅图像的偏差估计，计算给定图像中搜索得到的特征点位置与对应的人工标定位置的偏移量。如图4所示，x坐标为特征点搜索所得位置与目标位置的平均偏移量(以像素为单位)，y坐标为偏移量为对应值的特征点个数占图像中特征点总数的百分比。

　　从图4可以看出，通过RGASM方法得到的定位结果在平均误差上小于ASM的平均定位误差，方差也较小，算法对各特征点定位效果均衡。因此，与ASM方法相比，采用RGASM方法进行特征定位可以在单幅图像的特征点意义上取得好的定位效果。

　　另一种是针对整个测试集的平均偏差估计，度量准则为欧式距离

　　其中N为测试图像的个数，n为标定特征点的个数，这里N取值为30，为58。(xij，yij)表示在第i幅测试图像中的j个标定点人工标定的位置，而(x’ij，y’ij)为搜索得到的位置坐标。

　　表l给出了RGASM方法与ASM方法在特征定位上的效果比较情况。该测试说明在训练集较小时RGASM方法在定位精度上与ASM相比具有一定的优势。

　　测试是在CPU为Pentium(R)43.0 GHz的计算机上完成的，采用标准ASM方法处理一幅图像的平均时间为0．2～0．4 s，文中的RGASM方法的平均时间为0．6～0．9 s。可以看出，文中提出的方法是有效、可行的。

　　4 结束语

　　文中提出了一种基于局部纹理信息的脸部特征定位方法，在纹理建模时对特征点及其给定邻域各点均做Gabor变换以作为该特征点的局部纹理特征，然后采用统计方法进行局部纹理建模，搜索时采用在当前位置周围取块进行全搜索的方法进行特征的搜索定位。实验结果表明，该方法是一种有效的脸部特征定位方法。