人脸识别技术：现状、问题与发展

在2008年，人脸识别技术首次亮相奥运会，为保障北京奥运会及残奥会的开闭幕式的安全，起到了重要的作用。北京奥运会使用的人脸识别技术是由中国科学院自动化所生物特征识别与安全技术研究中心所研发的，性能在国际上处于领先地位，并且拥有完全独立自主的知识产权。人脸识别技术是生物特征识别技术中得到广泛研究与开发，也是近30年的模式识别和视频图像处理中最热门的研究主题之一。人脸识别技术由于使用方便，普通摄像头都可以作为传感器，主要依靠人脸识别软件和算法进行处理，成本比较低，客户也较易接受。还具有非接触式、非强制性和并发性等特点。并发性是指实际应用场景下可以进行多个人脸的分拣、判断及识别。但由于目前人脸识别技术误识率比较高和受周围环境影响较大，导致使用上有一定的局限性。

人脸识别技术是基于人脸部的主要器官，如眼睛、鼻子、嘴巴等位置及大小不同等特点，对输入的人脸图像或视频流，通过与数据库中已知的人脸进行比对，从而识别出被识别对象的信息。图4-71所示为人脸识别技术在企业的考勤管理中的应用。

（一）人脸识别的工作原理

人脸识别系统框架结构如图4-72所示，分为训练和识别两个步骤，两个步骤都需要检测和定位人脸、人脸图像的预处理、特征提取和选择。其中前者一般是离线运算的，而识别则是在线操作的。完整的人脸识别系统应包括图像输入、人脸检测和定位、预处理、特征提取以及分类器五部分，其中最关键的技术是人脸检测和人脸识别。

图4-71 人脸识别技术应用于考勤管理

图4-72 人脸识别系统的结构示意图

图4-73 人脸识别系统的原理图

不同的识别算法决定输入图像保留的信息是不一样的。每种保留方式都有缺失，灰度图像失去了颜色信息；二维图像失去了深度等三维信息；红外图像仅和热辐射有关，分辨率太低；Sketch图像失去纹理等。其中被广泛应用于人脸识别的算法为区域特征分析算法，它整合了计算机图像处理技术与生物统计学，利用计算机图像处理技术从视频中提取人像特征点，利用生物统计学的原理进行分析建立数学模型，即人脸特征模板。利用已建成的人脸特征模板与被测者的人脸进行特征分析，根据分析的结果给出一个相似值来判断是否为同一人，如图4-73所示。

1.人脸的检测与定位

人脸检测与定位是指在一幅图像或视频流的一帧中检测出人像并将人像从背景中分离出来，并自动地将其保存，它是完成人脸识别的第一步，是人脸识别的基础。

人脸检测是一个相当复杂的问题，受以下因素的影响，人脸的检测与定位均可不同程度地影响人脸检测的准确度，导致误检（即将非人脸区误认为人脸）或漏检：

1）人脸在图像中的位置、角度和不固定尺度以及光照的影响；

2）发型、眼镜、胡须以及人脸的表情变化等；

3）图像中的噪声；

4）面部表情的不同；

5）面部伤痕的出现。

人脸检测方法大体可分为基于可见光人脸识别和基于多光源人脸识别两大类。

（1）可见光人脸识别技术

可见光是光谱中人眼可以感知的部分，一般指波长在400～700nm之间的光。传统的人脸识别技术主要基于可见光图像的人脸识别，已有30多年的研发历史。但这种方式有着难以克服的缺陷，尤其在环境光照发生变化时，识别效果会急剧下降，无法满足实际系统的需要。解决光照问题的方案有三维图像人脸识别和热成像人脸识别。但目前这两种技术还远不成熟，识别效果不尽人意。

（2）多光源人脸识别技术

在自然界中，除人眼可见的光线外，还存在着红外、紫外等不可见的光线。基于红外与可见光融合的多光源人脸识别方法可以克服可见光变化对人脸识别的影响。在精度、稳定性和速度方面的整体系统性能超过三维图像人脸识别。这项技术在近两三年发展迅速，使人脸识别技术逐渐走向实用化。

可见光图像受光源影响较大，而单纯的红外图像可以独立光源，但对温度变化比较敏感，而红外与可见光融合的多光源人脸识别方法，被证明比任意单一光源的识别更有效。它是一种基于融合红外与可见光图像人脸识别方法，对红外与可见光人脸图像分别采用PCA与线性辨别分析相结合的方法进行特征提取和识别，并利用获得的识别结果与它们各自的置信度进行决策融合，并确定最终的人脸识别结果。

2.人脸图像预处理

人脸识别系统中重要的一步就是人脸图像的预处理过程。由于受各种因素的影响，输入的图像质量不统一，不能够直接将图像用于后续的人脸识别过程中，很大程度上影响识别的性能。因此，图像预处理具有规范统一的标准——尽可能消除在尺寸大小、姿态、明暗程度、面部遮挡物等方面对识别性能的影响。不同的人脸识别系统根据其采用的图像来源和识别算法需要不同，采用的预处理方法也不同。常用的人脸图像预处理方法有：滤波去噪、灰度变换（灰度归一化）、图像二值化、边缘检测、尺寸归一化等。用在同一系统中的可能只有其中一种或几种预处理方法。

（1）滤波去噪：噪声给图像带来的失真和降质，在特征提取前采用滤波的方式去除噪声是人脸识别系统中必要的步骤。滤波的方法很多，有线性滤波、中值滤波、自适应滤波等。

（2）灰度变换（灰度归一化）：灰度变换是图像增强技术中的一种。通过灰度变换可对原始图像中的光照不均进行补偿，使得待识别人脸图像遵循同一或者相似的灰度分布。只有这样，不同图像在特征提取和识别时才具有可比性。这一过程也被称作灰度归一化。常用在人脸识别系统中的灰度变换方法主要有：基于图像统计特征的直方图均衡化、直方图规定化和灰度均值方差标准化三种方法。

（3）边缘检测：在图像处理中，图像的局部不连续性称之为“边缘”，图像的边缘提取就是保留原始图像中这些重要的边缘信息，而又使得总的数据量减少便于以后的处理。从数学上分析边缘提取是保留图像的灰度变化剧烈的区域；从信号处理的角度来看灰度变化剧烈的区域就是图像频率较高的区域，可以用高通滤波器进行滤波保留。对输入人脸图像进行边缘检测是很多人脸识别系统在人脸检测和定位时采用的预处理方法。边缘检测的方法很多，主要有：微分算子法、Sobel算子法、拉普拉斯算子法、canny算子法等。每种算子对不同方向边缘的检测能力和抑制噪声的能力都不同。

（4）尺寸归一化：人脸图像的尺度归一化包括图像的平移、旋转、缩放和标准切割等处理过程。平移变换大概是几何变换中最简单的一种，图像平移体现了人脸在图像平面内的平移不变性；人脸图像的旋转是使人眼和水平轴平行，以人脸双眼中心为旋转点，将图像的所有像素进行旋转，这保证人脸中心位置的一致性，体现了人脸在图像平面内的旋转不变性。

3.人脸图像的特征提取

在模式识别中，由被识别的对象产生一组基本特征，这些特征可以是计算出来的（当识别对象是波形或数字图像时），也可以是用仪表或传感器测量出来（当识别对象是实物或某种过程时），这样产生出来的特征叫做原始特征。原始征的数量可能很大，或者说样本是处于一个高维空间中，通过映射（或变换）的方法可以用低维空间来表示样本，这个过程叫特征提取。映射后的特征叫二次特征，它们是原始特征的某种组合（通常是线性组合）。所谓特征提取在广义上就是指一种变换。若Y是测量空间，X是特征空间，则变换A：Y-X就叫做特征提取器。其他的模式识别一样，特征提取是人脸识别非常重要的一步。由于人脸是多维弹性体，易受表情和光照等因素影响，提取特征的困难较大，特征提取的任务就是对这些干扰因素提取出具有稳定性和有效性的信息用于识别。

近年来对人脸特征提取的研究主要集中在三个方面：几何特征点的提取；变换域中的特征提取；利用变形模板进行特征提取。特征提取方法归纳起来分为两类：基于局部特征的提取方法和基于整体特征的提取方法。前者通常提取人脸器官位置与尺度等作为特征，从具体器官及器官间关系提取几何特征矢量进行识别。可变形模板法是利用几何特征提取方法的一种改进，适于质量较差图像，但模板描述不够精确且收敛速度慢。单一基于局部特征的提取方法已不是研究的主流，只有同其他方法结合才能达到较好效果。目前大多都是基于整体特征的提取方法，如特征脸法、弹性图匹配法、奇异值分解法（Singular Value Decomposition，SVD）、离散余弦变换法（Discrete Cosine Transform，DCT）、小波变换法等。此外，还可以通过多种方法综合利用来进行特征提取，如在主成分分析（PCA）基础上进一步做独立分量分析（ICA）来提取特征的方法等。小波变换是空间（时间）和频率的局部变换，采用小波变换特征能够有效描述人脸局部信息。小波变换通过伸缩和平移等运算功能对函数或信号进行多尺度细分析，克服了傅里叶变换没有任何时域局部化。支持向量机（Support Vector Ma-chine，SVM）是依据统计学习理论发展起来的一种通用的模式识别方法，具坚实的理论基础和严格的理论分析，90年代以来，一直引起各领域的广泛的研究兴趣。此外，还有采用独立分量分析（Independent Component Analysis，ICA）的人脸识别方法，双子空间贝叶斯（Bayesian）人脸识别方法等。

（二）分类器的设计

分类器可看成是由硬件或软件组成的一个“机器”，按照分类判别准则对待识别模式进行分类判别，并输出分类结果，即识别的分类方法。分类器的设计是模式识别的难点。现在在人脸识别方法中，常用的分类器有以下几种：

1.模板匹配

主要有两种方法，固定模板和变形模板。固定模板的方法是首先设计一个或几个参考模板，然后计算测试样本与参考模板之间的某种度量，以是否大于阈值来判断测试样本是否是人脸。这种方法比较简单，在早期的系统中采用得比较多。但是由于人脸特征的变化很大，很难得到有效的模板来表示人脸的共性。变形模板在原理上与固定模板相同，但其中包含一些非固定的元素，一种方法是手工构造参数化的曲线和曲面以表征人脸中的某些非固定特征，如眼睛、鼻子和嘴唇等。另一种方法是系统自动生成自适应的曲线或曲面，以构成变形人脸模板。检测方法是：将模板与测试图像进行弹性匹配，并加入惩罚机制，利用某种能量函数表示匹配程度。(www.xing528.com)

2.示例学习

示例学习的基本思想是从某一概念的已给正例和反例的集合中归纳产生出接受所有正例同时排斥所有反例的该概念的一般规则。将人脸样本和非人脸样本送入学习机中，产生出判别规则，从而用于作为判断输入的测试图像是否属于人脸的主要判别依据。为了获得较高的精度，学习过程需要大量的样本，另外样本数据本身是高维矢量，因此，研究通用而有效的学习算法的关键是精确的区分性和数据维数的降低。

将多个表示人脸模式的线性空间进行组合，是示例学习的另一条途径。采用了Kohonen自组织映射网络对人脸样本和非人脸样本进行聚类，对每一类样本进行Fisher线性判别，得到每一类的判别平面，从而构成图像子空间，并运用高斯模型描述每个子空间，估计出类条件概率密度。这样，对于测试图像，计算其属于各个子空间的概率，分类决策为概率最大的类是它所属的类，从而判断测试图像是否为人脸。

3.神经网络

从本质上讲，神经网络也是一种基于样本的学习方法。将神经网络用于人脸检测取得了很大的进展。MIT的学者首先对人脸样本集和非人脸样本集聚类，以测试样本与人脸样本集和非人脸样本集的子类之间的距离作为分类的度量，利用多层感知器（MLP）网络作为分类器。CMU的研究人员直接以图像作为神经网络的输入，设计了一个具有独特结构的适用于人脸特征的神经网络分类器，并通过前馈神经网络对检测结果优化。Raphael Feraud等利用多个神经网络：多层感知器（MLP）和约束产生式模型（Constrained Generative Model，CGM），实现了一个可应用于WEB中人脸图像检索的快速而准确的人脸检测方法。Shang-Hung Lin等训练了三个基于概率决策的神经网络（Probabilistic Decision Based Neural Net-work，PDBNN），用于人脸检测、眼睛定位和人脸识别，实现了一个完整的人脸识别系统。

4.基于隐马尔可夫模型的方法

马尔可夫模型是一个离散时序有限状态自动机，隐马尔可夫模型（HMM）是指这一马尔可夫模型的内部状态外界不可见，外界只能看到各个时刻的输出值。对于人脸模式来说，可以把它分成前额、眼睛、鼻子、嘴巴和下巴这样一个序列。人脸模式就可以通过对这些区域的有序的识别来检测，这正好是隐马尔可夫模型容易做到的。Samaria等人提出了使用HMM模型进行人脸检测的算法，他们使用人脸区域的结构信息作为隐马尔可夫模型的状态迁移条件。除此以外，基于AdaBoost的人脸识别算法，基于彩色信息的方法，基于形状分析的方法，以及多模态信息融合的方法，国外都进行了大量的研究与实验。

（三）人脸识别技术需解决的问题

现有的人脸识别系统在用户配合、采集条件比较理想的情况下可以取得令人满意的结果。但是，如果对于用户不配合或采集条件不理想（如光照恶劣，有遮挡，图像分辨率低等）的情况下，现有系统的识别率将陡然下降。人脸识别技术远未达到实用水平，还存在着诸多的挑战性问题需要解决。

1.复杂条件下人脸的检测和关键点定位问题

人脸的检测和关键点定位是人脸识别系统的前端处理环节，此环节效果好坏直接影响着人脸识别系统的识别性能。而现有的多数特征定位算法的定位精度都随着光照、姿态等外界条件变化而快速下降，因此研究复杂条件下人脸的检测和关键点定位算法是目前人脸识别研究中的当务之急。

2.光照变化问题

光照对人脸识别影响尤为明显。图4-74所示为不同光照条件下人脸识别系统的效果差异。尽管研究人员针对光照问题提出了一些解决方案，但是目前的光照处理方法远未达到实用的程度，还需要进一步地研究解决。

3.表情与姿态问题

表情与姿态问题也是目前人脸识别研究中需要解决的一个技术难点，如图4-75所示。如目前针对姿态的人脸识别算法主要集中于针对正面、准正面人脸图像的研究，当发生俯仰或者左右侧面比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。如何提高系统对姿态的鲁棒性也是人脸识别研究中一个极具挑战性的问题。

4.遮挡问题

在监控环境下，被监控对象会戴眼镜、帽子和围脖等饰物，使得被采集出来的人脸图像不完整，影响后面的特征提取与识别程序，甚至会导致人脸检测算法的失效，如图4-76所示。

图4-74 不同光照条件下人脸识别效果比照

图4-75 表情与姿态问题示意图

图4-76 遮挡物问题

5.年龄变化问题

随着年龄的变化，人的面部外观也会发生变化，如图4-77所示。对于不同的年龄段，人脸识别算法的识别率也不同。如何解决年龄变化对人脸识别算法的影响也是许多人脸识别系统的必须面对的一个问题。

图4-77 年龄变化后人脸的变化对比

6.低质量照片问题

当应用于智能视频监控、公安系统犯罪嫌疑人照片比对等时，由于其来源不一，图像质量比较差，如模糊、高噪声、分辨率极低等。如何提高系统对这些低质量照片的识别能力也是人脸识别亟待解决的关键问题之一。

7.大规模人脸识别问题

随着人脸数据库规模的增长，人脸识别算法的性能将呈现下降，如何维持或提高大规模应用环境下的人脸识别算法的识别率是一个非常重要的问题。同时，大规模人脸数据库的建立、维护、编码和检索也是非常值得研究的问题。

8.样本缺乏问题

基于统计学习的人脸识别算法是目前人脸识别领域中的主流算法，但是统计学习方法需要大量的训练。由于人脸图像在高维空间中的分布是一个不规则的流形分布，能得到的样本只是对人脸图像空间中的一个极小部分的采样，如何解决小样本下的统计学习问题有待进一步的研究。

9.海量数据的学习问题

传统人脸识别方法在小规模数据中可以很容易进行训练学习。但是对于海量数据，这些方法的计算复杂度太高，训练过程难以进行，甚至有可能导致系统崩溃。如何解决海量数据的学习问题是一个非常重要的问题。

10.人脸信息采集设备带来的问题

摄像头是目前主流的人脸信息采集设备，它们的种类、型号、传感方式（比如CCD或者CMOS）、采样和量化精度等各不相同，采集时刻的焦距、光圈、增益、白平衡等参数设置区别也很大。这些变化因素使得获取的人脸图像数据的变化更大。如何解决这些问题也是值得关注的。