基于人脸局部特征的人脸跟踪技术

基于人脸局部特征跟踪法的主要思想是根据不同的人脸器官特征信息进行器官跟踪，这类方法经常利用眼睛、嘴和鼻子等器官特征信息进行跟踪定位。传统的人脸特征点跟踪方法通常是在人的脸部画上标识点进行跟踪。如：Kouadio等人提出了一种通过加标识点来跟踪视频中人脸特征点的方法。

1.基于KLT算法的人脸特征点跟踪

KLT算法是一种以待跟踪窗口W在视频图像帧间的误差二次方和（Sum of Squared Differences，SSD）作为度量的跟踪算法。

参考文献[19]给出了一种在首帧中确定搜索特征点，采用改进的KLT（Kanade、Lucas、Tomasi）算法对未加标识点的人脸正面视频图像进行特征点跟踪，进而求得人脸特征点运动参数的方法。与传统的在人脸部画上标识点的特征点跟踪方法不同，KLT算法可以从未加标识点的正面人像视频系列中通过特征纹理信息直接获取脸部某些特征点的位移，该文献还在KLT算法中加入了基于人脸统计信息的经验约束，使KLT算法更加合理有效。

2.人脸特征点跟踪

Kouadio等提出了一种通过加标识点来跟踪视频中人脸特征点的方法，这些特征点跟踪方法的局限是要在被摄像者人脸部加上标识点，如果能够从未加标识点的正面人像视频系列中直接获取面部某些特征点的位移，将会更有意义。(www.xing528.com)

Jebara和Pentlan^[25]也使用特征点跟踪，但是他们使用自动定位如眼部和嘴角来跟踪人脸，用运动技术对特征点的三维位置进行估计，即在图像序列中用扩展的卡尔曼滤波后获取所有的位置信息。对于面部特征点的位置的估计，使用本征脸的约束方法去匹配人脸几何特征。

参考文献[20]提出一种基于Gabor小波的人脸特征点跟踪方法。该文献将Gabor Jets用于跟踪视频中的人脸特征点（其中Jets是指对图像上某点进行不同方向、频率、相位的小波卷积所产生的一系列小波系数）。在输入视频序列的起始帧中，手工标定需要跟踪的人脸特征点，如眼角、鼻尖、眉毛等，提取这些点的Jets。将第l帧的特征点坐标作为第l+1帧的参考点，提取第l+1帧参考点的Jets，对比新旧Jets来估计特征点的新坐标，从而得到特征点在新帧中的位置，达到跟踪的目的。

3.基于器官跟踪的人脸跟踪

邢昕等人^[33]提出了一种基于器官跟踪的人脸跟踪算法，利用形态学运算对嘴进行跟踪，并在很少的局部旋转运算处理后，简单地分析人脸的对称性，从而高速准确地跟踪人脸。该文献提出的跟踪算法没有利用背景、运动和颜色等信息，因而不受背景复杂程度、人脸运动强度和背景颜色等因素的影响。算法只利用灰度信息，进行形态运算、局部旋转运算，计算简单。跟踪时间只与人脸尺寸有关，与图像大小无关。跟踪具有较强的鲁棒性，只要人的双眼和嘴等主要器官可见，允许人脸做较大幅度的运动。算法可广泛应用于可视电话、视频电视会议、虚拟现实等领域中，实现视频序列的人脸位置跟踪，并可在保安监控、唇语识读、表情识别等应用中发挥作用。

在这些方法中，特征点会由于遮挡或光线变化而不可见，这将导致跟踪失败，这是特征点跟踪的缺点。虽然可以得到新的特征点，但这要以额外的累加误差为代价。