以上所介绍的特征提取方法都是针对一幅静态图像或者针对动态图像序列中的某一帧进行的。然而表情识别的最大特点是它是一个动态变化的过程。心理学研究表明,尽管人类可以依据一幅静态图像判别其中的人脸表情,但是大部分实验者在识别动态序列图像的表情时,准确率明显增高。可见提取动态图像序列的运动特征,对于表情识别有着特殊的意义。当输入的人脸图像占据图像主要位置时,其特有的运动向量(光流)就会占据绝对优势。而且,一般来说,人脸总是会做一定的相对运动,其运动方式虽包含了平动和转动,但由于脸部受观察点到颈部转轴的距离较大,而且在短时间内转动角也很小,因此,可以把转动近似地当作平动处理。这些基本要素使得运动特征提取非常适合采用光流场的方法。
光流是指亮度模式引起的表观运动,是景物中可见点的三维速度向量在成像平面上的投影,它表示了景物表面上的点在图像中位置的瞬时变化;同时光流场携带了有关运动和结构的丰富信息。光流模型是处理运动图像的有效方法,其基本思想是将运动图像函数f(x,y,t)作为基本函数,根据图像强度守恒原理建立光流约束方程,通过求解光流约束方程计算运动参数。
假设在时间t,图像中坐标为(x,y)的像元,其灰度为f(x,y,t),经过时间Δt,这一点像元运动到(x+Δx,y+Δy),其灰度为f(x+Δx,y+Δy,t+Δt)。因为是两个不同时刻的同一个点,根据灰度守恒,假设有
f(x,y,t)=f(x+Δx,y+Δy,t+Δt) (6-33)
如果认为灰度随(x,y,t)的变化是平滑、连续的,则式(6-33)的右边可以用泰勒级数展开,得
式中,e包含dx、dy、dt的高次项。根据式(6-33),消去f(x,y,t),且当dt→0时,得到
令∂f/∂x=Ex,∂f/∂y=Ey,∂f/∂t=Et,dx/dt=u,dy/dt=v,得到光流场基本方程为
Exu+Eyv+Et =0 (6-36)
在实际应用情况中,光流场基本方程的灰度守恒假设往往不能满足,这是由于光源的运动和不均匀性、对象的遮挡性和透明性等原因造成的。因此,Shahriar、Negahdaripour等人提出了无显著特征动态图像模型(Generalized Dynamic Image Model,GDIM)。GDIM中灰度不再保持恒定。
f(x+Δx,y+Δy,t+Δt)=M(x,y,t)f(x,y,t)+C(x,y,t) (6-37)(www.xing528.com)
令M(x,y,t)=1+Δm(x,y,t)、C(x,y,t)=Δc(x,y,t),将其代入式(6-37),得
Δf=f(x+Δx,y+Δy,t+Δt)-f(x,y,t)=Δm(x,y,t)f(x,y,t)+Δc(x,y,t) (6-38)
若Δm=Δc=0,式(6-38)中Δf=0,就转化为灰度守恒假设,所以灰度守恒假设是GDIM中的一个特例。
Et+Exu+Eyv-(δmE+δc)=0 (6-39)
式(6-39)不仅约束了像元的运动速度[u,v],而且根据时空梯度约束了灰度变化δm和δc。在实际序列图像中,式(6-39)更加符合实际情况。如果把式(6-38)改写成
Et=δg+δE (6-40)
式中,δg为几何分量,δg=-(Exu+Eyv);δE为灰度分量,两者的比值∂g/∂E可作为两者之间强弱关系的参数。例如由运动引起的变化大于阴影的影响,那么该值就比较大;反之较小。这对于估计运动参数和物体三维信息非常有意义。这个参数同时也可用于基于灰度的传统模式的信噪比测量,因为一般认为,运动参数能够被准确估算的地方主要在于∂g/∂E比较大的地方。
对输入的人脸图像,外界的干扰因素一般是比较多的,采用灰度不守恒的光流场基本方程更显得合适与可靠。这种方法具有计算精度高、易于实现等优点,有一定的实用价值。而且用光流计算的方法提取其运动特征,一方面反映了表情的变化实质;另一方面特征受光照不均匀性的影响较小,只要保证在同一组图像序列中光照强度基本不变,光照条件对各组之间的影响就较小。
以上只是对特征提取方法的简单介绍,实际处理问题时,其实各种特征提取的方法并不是孤立的,并且还要结合图像处理的相关工作,例如用滤波或者均衡化来提高图像的质量,从而特征提取时能获得良好的特征参数、较好的表达图像,以得到好的识别结果。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。