【基于SIFT特征提取数字条纹投影的自适应3D人脸识别】 带acc自适应巡航的车

　　摘要 自动人脸识别技术在过去几十年中取得了长足的进展，被广泛应用于特征识别，工业监管及人工智能领域中。但是这项技术很大程度上受到光照、姿势、阴影的因素的影响，尤其是在2D环境中往往不能取得满意的识别率。尽管3D识别技术上也有很多研究，但是大多不能从根本上解决这些问题。2004年Lowe[1]提出了SIFT 算子，它具有良好的独特性，充足的信息量，并且对旋转、光照、阴影等因素影响具有良好的稳定性。本文首先提出一种3D数字条纹投影技术以获取人脸的3D信息，随后对获取图像进行特征提取，并观察和分析其匹配的效果。我们提出了一种基于物理位置的消除错误匹配的方法，和自适应匹配的相应算法。最后实验结果显示该技术的优越性。
　　关键词 SIFT；特征提取；数字条纹投影；3D人脸识别
　　中图分类号TP2 文献标识码A 文章编号 1674-6708（2011）34-0198-04
　　Self-Adaptive 3D Face Recognition Using SIFT Extraction Based on Digital Fringe Projection
　　
　　GENG Baocheng
　　Image Processing Laboratory， UM-SJTU Joint Institute， Shanghai Jiao Tong University，Shanghai 200240，China
　　
　　Abstract The technique of automatic face recognition has been under intense researches since it can find a lot of applications in identification， industry guarding， machine intelligence and biomedical engineering. In recent years people are more focused on the researches of 3D information process， and have breakthroughs in dealing with factors mentioned above. However， not many methods perform satisfactory tasks when exposed to illumination， pose and shadow variations. SIFT（scale invariant feature transform） method is newly developed by Lowe [1]， which can efficiently conduct recognition as the feature it represents has the property of good distinctness， adequate in data information and invariant to most affine changes. This paper will present a method that combines 2D and 3D information to do the task of face recognition. First， the image information will be captured by a system based on digital fringe projection. Then SIFT features will be extracted and we will give an analysis on the matching between test images and those in database based on SIFT. Finally， the combined 2D and 3D method is presented to perform face recognition in large scale. During the experiment， test images with various affine changes will be used to confirm the efficiency and accuracy of SIFT. Finally we use the results to compare with the results of recognition with PCA. Then the conclusion and future work will be shown.
　　Keywords SIFT；face recognition；digital fringes；depth image；principal component analysis；illumination；shadow；pose analysis
　　
　　0 引言
　　上个世纪80年代，图像搜索主要依靠基于文本的图像检索技术。这项技术是用关键词条对数据库中的图像进行描述，并且利用标签进行搜索。但是人工添加标签的方法具有很强的主观性，所以准确度不高。随着图像数量的快速增长，在20世纪末基于内容的图像检索技术被广泛应用，它能自动地提取图像的几何特征，比如纹理，亮度，形状等、并且与数据库中图像的相应特征进行匹配。
　　基于内容的图像检索技术主要包括基于全局信息的匹配和基于局部特征的匹配。前者主要用于模糊的分析识别一幅图片，而后者可以用来进行更精确的匹配。局部特征算子有良好的独特性，它在物体识别、图像恢复等领域里能够取得良好的效果。本文将把SIFT用于3D人脸识别，从而观察其在这一领域的应用前景。
　　局部特征匹配主要包括特征提取、特征描述和匹配。从1980年 Movarac [2]在运动跟踪中用到的角描述子开始，基本的知识体系大致形成。1988年Harris and Stephens [3]通过引入二维矩阵和特征值改进了这种描述子，Kanade[4]，Rohr[5]等人介绍了其他几种角描述子，并且取得了实验结果上的改进。这些都是局部描述子发展的雏形，2002年Micolajczyk and Schimid [6]进一步使算子具有仿射不变形，使局部算子在应用上进入一个新的阶段。2004年Lowe[1] 正式提出了SIFT（scale invariant feature transform）算子，它对旋转、光照、姿势和其他仿射变化有良好的稳定性。
　　1 SFIT算子简介
　　根据尺度空间理论，图像的不同结构存在于一定范围的尺度内。1983年Witkin[7]提出了尺度空间的概念，当时他主要用其解决多尺度信号处理的问题。Keondetink[8]证明了高斯核是进行尺度变化的唯一核，Linderberg[9]进一步证明了高斯核是唯一线性核。
　　 一幅图像可以用表示，并且 2D 高斯方程可以表示为
　　σ是尺度空间因子，它决定着变换后图像代表整体特征还是细节特征。
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文 　　那么在尺度空间 L 下的图像可以通过计算卷积获得：
　　（x，y）某一像素的二维坐标
　　Lowe 通过在二维空间和DoG（Difference-of-Gaussian）尺度空间内检测图像的局部极值点，来描述这幅图像的特征 DoG 算子表示为
　　当极值点检测完毕后，对于每一点计算该位置的梯度模和梯度方向：
　　m（x，y）代表梯度模， θ（x，y）代表梯度的方向。
　　对每个特征点进行类似运算，我们可以得到整个图片的SIFT算子。
　　2 3D 扫描系统
　　本文利用一个基于数字条纹投影的系统去获得人脸的3D深度信息，而2D图像可以方面地利用普通相机获得。该系统主要由投影仪、照相机和电脑组成：首先一组经过编码的数字条纹投射到人脸上，每一组条纹包括3个连续的正弦信号，他们的相位梯度是θ:
　　3 SIFT特征提取
　　人脸图像的SIFT特征提取过程中，先在尺度空间内对输入图像搜寻极值点，即局部像素最大最小值点。分别对普通2D图像和条纹投影后的图像进行SIFT特征提取以进行匹配。为了简化问题，这里用条纹投影图像代替人脸的3D（深度）信息，因为扭曲度和深度信息是相对应的。
　　首先对两幅图像进行极值点检测。
　　观察和对比以上结果，两幅图像的极值点分别落在不同的位置上，说明两幅图像含有不同代表人脸的信息，从而能够结合起来进行识别。
　　尽管2D图像比条纹图像包含有更多的极值点，说明在SIFT特征表示上，2D图像含有更多的信息。但是第二幅图像含有的深度信息是进行3D匹配不可或缺的因素。
　　检测极值点之后，对每一点标注其梯度模和梯度方向，结果如图所示：
　　在这个过程中，图像首先进行平滑处理，然后在每一个极值点有对应的2D向量。向量的模表示图像所处的尺度空间，向量的方向表示梯度的主方向。
　　通过SIFT提取，特征向量已经基本上去除了尺度因素、旋转以及其他几何变形对人脸的影响。再将特征向量标准化可以进一步移除光照的影响。
　　4 匹配效果
　　下面对SIFT特征提取后的图像进行初步匹配，如果不同图像上两个特征点可以匹配（含有类似的信息），会有一根直线连接它们。匹配的原理是两点处特征向量的欧式距离小于一定的阈值，并且足够小以至于能够和其他点相区分。首先进行2D图像匹配：
　　很明显，代表同一个人的图像之间SIFT匹配很充分，而不同人之间的图像很难以有SIFT匹配点。
　　下面是条纹图像之间的SIFT匹配：
　　通过对比，类似的结果显示了相同的人的条纹图像之间有很好的SIFT匹配，而不同的人难以匹配，说明了SIFT算子的人脸识别和匹配上有着良好的准确度和稳定性。
　　5 不同条件下的匹配
　　5.1 姿势变化
　　人脸自动分析识别系统的发展很大程度上受到了姿势变化的阻碍，很多现有的系统难以在各种姿势条件下仍然取得令人满意的匹配效果。接下来我们分析在人脸识别中SIFT算子对姿势变化是否有上文提到的稳定性。
　　不同姿势下2D图像的匹配结果如图12所示，左边是正面图像，右边有15°的偏移。
　　所对应的条纹图像SIFT匹配结果如图13所示，同样两者有15°的差别。
　　对比以上结果，我们发现尽管2D图像的匹配结果基本可以接受，但在某些区域有显著的错误，而且匹配的点数目不多。相应地，条纹图像的SIFT匹配很令人满意，它有跟多的匹配点数及更少的错误。所以SIFT算子在3D深度信息处理，尤其是在此系统中用于有角度差异的匹配时，有着显著的优势。
　　5.2 光照变化
　　由于在3D扫描系统中，条纹图像基本不会受到光照的影响，这部分中只对2D图像在不同光照下进行SIFT匹配：图14显示了原图与强光照下的图像之间的匹配，图15 弱光下得到的图像与原图的匹配：
　　通过比较，我们发现尽管匹配的点数没有相同光照下那么多，结果还是很令人满意的。
　　5.3 匹配方法的改进
　　大多数情况下匹配的点是正确的，但也不排除有些误配：
　　如果图1中P（x1，y1）和图2中Q（x2，y2）点匹配，他们应该落在人脸相同的位置上。换言之，眼部附近的点不可能和下颚附近的点进行匹配。所以可以通过物理位置对比消除某些误配。 首先两幅输入图像应该进行标准化处理：
　　只有当合低于设定的阈值的时候，两点才可能被匹配。当然基于某些位移因素的影响，我们并不要求两点完全位于同一位置。
　　6 自适应匹配算法
　　匹配原理：
　　在数据库的图像中，进行图像的SIFT特征提取，随后用输入测试图像的SIFT 特征与之匹配。如果某一组图像具有最多的匹配点数，并且这一点数超过了出设定的阈值，则显示匹配成功，并返回相应图像的信息。这里所说的阈值并不是简单的理解为某个特定点数，而是一个会变化的值。不同面部区域有着不同密度的极值点，所以最后以一个区域为单位进行运算。通过进行简单的划分，眼、嘴、脸颊、下颚等区域一起决定最后的匹配结果，其中每一部分都有自己的权值。
　　a，b，…，n 是每一个区域的权值，
　　mi,n为对数据库中的i图，在第n区域的匹配点数。
　　最后，2D图像匹配结果和条纹图像结果结合起来决定最后的决定因子：
　　d1代表2D 图像的结果， d2代表条纹图像的结果， p 代表2D图像的权值。
　　系统的自适应性主要体现在其中权重因子的变化。这些因子不是固定不变的，而是随不同的输入图像而变化。比如，因为条纹图像在姿势变化下有明显的优势，在检测到输入图像的姿势变化时，系统会自动提高条纹图像的权值。此外，人脸每个部分的权重因子也会随光照，姿势变化而有所不同。这些权值的准确定义需要丰富的统计数据，这里只是一个简略的估计。
　　7 实验结果
　　实验模拟利用 FRGC（Face Recognition Grand Champion）数据库，它包含有各种姿势、照明条件下的人脸库。像素值为640*480 ，所有的图像已被标准化。条纹虚拟地投向库中的人脸，并得到变形后的条纹图。利用SIFT特征提取及上诉算法进行匹配，采取45个不同姿势、光照的样本进行匹配。实验结果如下
　　通过2D图像与条纹图像的结合进一步匹配，并且与相同条件下PCA算法匹配进行对比：
　　比结果显示在非理想因素的存在下，SIFT算子比PCA算法有着更好的稳定性。
　　8 总结和未来工作
　　本文通过将SIFT技术与一种基于数字条纹投影技术相结合，进行人脸识别和分析。在实验室中得到了比传统的PCA算法更好的识别结果，并且验证了在非理想条件下SIFT算法的优越。未来的工作将主要集中在重建后3D信的SIFT分析，而不是仅仅进行条纹图像处理。此外人脸各部分的权值要进一步准确设定，并且在真人环境下的识别需要验证。
　　
　　参考文献
　　[1]David G.Lowe.“Distinctive Image Features from Scale-Invariant Key points”.International Journal of Computer Vison，2004.
　　[2]H.Moravec.“Obstacle avoidance and navigation in the real world by a seeing robot rover”.Technical Report CMU-RI-TR-3，Carnegie-Mellon University，Robotics Institute，1980．
　　[3]Harris C and Stephens M J.“A combined corner and edge detector”.In Alvey Vision Conference，Manchester，1988:147-152
　　[4]C.Tomasi and T.Kanade.“Detection and Tracking of Point Features”.Carnegie Mellon University Technical Report CMU-CS-91-132，April 1991.
　　[5]Rohr，K.“Localization properties of direct corner detectors”.Journal of Mathematical Imaging and Vision，1994，4(2):139-150.
　　[6]K. Mikolajczyk，C.Schmid.“An Affine Invariant Interest Point Detector”.ECCV’2: Proceedings of the 7th European Conference on Computer Vision Part1， May 2002.
　　[7]Witkin A P.“Scale-space filtering”.International Joint Conference on Artificial Intelligence [C].Karlsruhe [s n]:1019-1022.
　　[8]Koenderink.“The structure of images”.Biological Cybernetics，1984:363-396.
　　[9]Lindeberg.“Scale Space for discrete Signals”. [J].IEEE Trans. PAMI 1980.
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文