基于模型的人脸跟踪方法

基于模型的人脸跟踪的方法就是获取目标的先验知识，建立低价参数模型，对输入的每一帧图像通过滑动窗口进行模型匹配，实现人脸识别与跟踪。常见的跟踪模型有肤色模型、椭圆模型、纹理模型及双眼模板匹配模型、可变形模型等。

1.基于肤色模型的人脸跟踪

肤色是人脸最重要而且明显的特征，人脸面部肤色特征可以用几个简单的参数来表征，而且在一定光照条件下肤色特征基本保持不变。基于肤色模型的跟踪方法就是利用恰当的表色系统，把肤色作为实现人脸跟踪的关键信息。由于肤色信息具有对放大和缩小以及对微小变形不敏感的优点，加上人脸相对镜头的变化对肤色信息本身的影响不大，该类方法很容易在前一帧图像分析结果的基础上跟踪到后一帧图像的人脸区域，因此具有速度快、姿态不变性等特点。目前的人脸跟踪技术大都采用基于肤色模型的方法。

Yang等人以半基色空间内人脸部肤色分布的特殊性为基础，实现了人脸实时跟踪^[26]。Crowley等人结合肤色模型、人眼检测模型和相关匹配方法实现了人脸实时跟踪^[27]。上述两个系统不能正确处理多目标背景下目标遮挡时的跟踪问题，只能适用于不带遮挡的比较简单的场合。Wu Haisheng和Zelek提出了一种实时统计人脸检测与跟踪系统。该系统采用基于人脸目标捕获及粒子滤波技术的单眼视觉。首先，人脸目标捕获和系统初始化阶段使用肤色分类和统计人脸模型匹配来找到人脸目标。然后，利用粒子滤波技术跟踪人脸运动的状态空间。最后，根据光流信息得到运动信息，从而进行样本重划分。该系统较好地解决了人脸跟踪的实时性。

参考文献[29]在人脸肤色模型的基础上，利用人脸形状特征信息，并结合扩展卡尔曼滤波技术估计人脸的运动轨迹，提出了一种基于肤色的人脸实时跟踪方法。该方法用半基色空间表征肤色，利用在不同环境条件下人脸肤色分布均近似服从高斯分布这一特性建立肤色特征参数模型，从而有效地保证了复杂场景下目标跟踪的准确性，实现了带遮挡情况下的人脸实时跟踪。

参考文献[30]提出一种基于混合肤色模型的实时人脸跟踪方法。该方法的混合肤色模型和建立在单一色彩空间上的肤色模型不同，它将HSV中的H分量和YCbCr中的Cb、Cr分量分别用一维的高斯模型表示，组合成三维的肤色模型。而且该方法采用基于点的运动预测来减少搜索区域，并使用Mjseg算法进一步分离人脸和其他类肤色区域。JSEG（Joint Sys-tem Engineering Group）是一种彩色图像的分隔算法，MJSEG（Modified JSEG Algorithm）是参考文献[30]提出的JSEG的改进算法。基于点的运动预测没有使用确定的运动方程来描述可能的运动形式，而是通过点的高斯振荡、帧间差和Tophat算子估计当前帧中人脸可能的位置，解决了其他方法中运动预测算法的不足问题；MJSEG算法给出较为精确的人脸边界，提高了用于更新肤色模型的肤色点的可信度。该方法有效地解决了复杂背景下人脸自由运动、光照变化及部分遮挡的问题。系统跟踪速度达到实时，并给出精确的人脸边界。

参考文献[31]提出了一种彩色图像序列中的人脸跟踪方法。该方法结合利用人脸肤色模型和运动模型实现人脸跟踪。其肤色模型没有使用被广泛采用的RGB模型，而是将图像的RGB空间变换到色度空间（因为用色度表示人脸的特征具有姿态不变性的优点），然后利用最大能量坐标和矩来表征色度空间的直方图分布。

参考文献[16]提出了一种基于高斯肤色模型的人脸跟踪算法。由于肤色在彩色的颜色空间中集中在一个很小的区域，该算法利用肤色的这些分布性质建立肤色模型，然后把人脸肤色区域中各个像素从RGB彩色空间投影到彩色的颜色空间，利用在彩色的颜色空间建立高斯肤色模型，把肤色从图像中分割出来，从而达到跟踪的目的。在跟踪过程中，还增加了自适应学习模块，使得原始的肤色模型能够在不同光照条件下实现自适应调整。实验表明，该算法能够在自然光照条件下取得较为满意的跟踪结果，同时对人脸在旋转、缩放、遮挡等条件下，多人脸背景下的跟踪有较强的鲁棒性。

由于人脸肤色在常用的RGB表色系统中的分布比较分散，而在HSI表色系统中较为集中，参考文献[17]利用这一特点实现了人脸跟踪。该算法在HSI表色系统下，把彩色直方图作为人脸模型，通过将彩色直方图投影到下一帧图像，就很容易获取该帧图像的同一人脸区域。实验表明，在普通环境和光照条件下，这里所采用的算法能实时、有效地跟踪图像序列中的人脸，达到了使用的要求。

2.基于椭圆模型的人脸跟踪(www.xing528.com)

由于绝大部分人脸轮廓都近似为椭圆形状，很多研究人员就利用这一特征建立椭圆模型来实现人脸识别与跟踪。参考文献[16]中提出的算法采用肤色模型和椭圆环模板相结合进行人脸跟踪。该算法在实现人脸跟踪过程中，首先利用肤色模型定位人脸肤色区域；然后利用人脸形状近似为椭圆形状的先验知识，通过建立椭圆环模板对人脸边缘进行精确定位；最后根据得到的面部特征和人脸边缘位置估计出人脸的姿态。该算法的思想是想用一个椭圆环模板在人脸的候选区域内进行搜索，使该环尽量包含最多的人脸边缘点。这里边缘点就是和非肤色区域相邻的肤色像素，也就是肤色连通域的边缘点。对人脸的跟踪过程就是确定这个椭圆环模板，使该区域内的人脸边缘点最多。实验表明，该算法能够在自然光照条件下取得较为满意的跟踪结果，同时对人脸在旋转、缩放、遮挡等条件下，多人脸背景下的跟踪有较强的鲁棒性。

3.基于纹理模型的人脸跟踪

宋刚等人提出了在视频序列中跟踪人脸的一种混合模型方法^[21]。他们在贝叶斯（Bayesian）框架下将Lucas-Kanade光流跟踪算法^[22]与人脸特征点定位的统计模型直接表观模型（Direct Appearance Model，DAM）^[23]结合起来，建立一种混合模型。由于视频序列中连续帧间具有运动连续性，该算法利用Lucas-Kanade特征点跟踪算法预测人脸特征点的位置。而DAM表明纹理和形状之间存在着很强的相关性，将DAM作为全局的纹理约束，以纠正局部匹配的误差，用于定位人脸特征点。通过DAM中纹理对形状的约束，在提高跟踪精度的同时，增强了整个算法的鲁棒性。实验表明，这种方法可以很好地适应人脸的多种运动，可用于人脸识别与跟踪或三维人脸建模。

4.基于双眼模板匹配模型的人脸跟踪

由于人的脸部双眼外形的独特性，使得双眼模板在人脸识别与跟踪中倍受欢迎。参考文献[18]提出了一种基于双眼模板匹配与人工神经网络的人脸跟踪。该算法在对前一帧图像进行人脸区域检测的基础上，预测当前帧中人脸区域可能的尺度与位置范围，在预测的范围内，采用双眼模板匹配与人工神经网分类的方法跟踪人脸。在搜索输入图像中可能尺度和位置的矩形区域时，对每个候选窗口使用双眼模板匹配进行粗筛选。跟踪时引入“监视区域”的概念，使用前一帧的跟踪结果，根据实际应用的需求限定人脸在两帧间的最大变化，进一步求解新的监视区域。这样处理时，速度会受到一些影响，但能够保证跟踪的鲁棒性。实验表明，该方法在具有复杂、动态变化背景的图像序列中是很有效的。

5.基于可变形模型的人脸跟踪

Goldenstein和Vogler等人利用可变形模型和预测滤波器实现在劣质图像序列中跟踪三维人脸。他们使用可变形模型结合预测滤波器的方法^[32]，对描述随时间变化的脸部表情演变的参数值和形变进行恢复。为了增加系统的鲁棒性，预测滤波器必须仔细观测系统状态。他们采用一种新方法，在每个时刻测量高维可变模型的参数观测值的正确分布。该方法将二维图像偏移的置信区域限制在放射体内，并将它们传播到参数空间。实验表明，该方法对在降质图像序列中提取信息有很好的鲁棒性。

总之，基于模型的方法跟踪速度快，但受模型本身的限制，一旦跟踪环境发生变化，难以得到较好的处理结果。