目标特征提取优化方法

目标特征是指目标对象所具有的可度量性质的度量函数值，特征提取则是对目标特征进行评估和度量，其结果通常是将目标图像上的点划分为不同的子集。在目标跟踪系统的实现过程中，选择合适的特征非常重要。目标最突出的属性是它的独特性，尤其是与其他目标或背景属性的差异，特征差异越明显，目标就越容易被检测。良好的目标特征应具有可分性强、不相关性强及可靠性和鲁棒性强等特点。

就图像目标检测与识别而言，所涉及的初级视觉特征具有多样性和复杂性，目前在工程上常采用的往往是能够引起人类注意的特征，心理研究者也通过实验验证了能够影响注意力的特征，包括颜色特征、方向特征、尺寸特征、曲率特征、深度特征、运动感知特征、形状特征等，下面简要介绍几种常用视觉特征。

1.颜色特征

颜色特征是最重要的视觉特征之一，主要描述图像或图像区域所对应的景物表面性质，是一个物体的表面属性，对目标的旋转、尺度、部分遮挡等具有很强的鲁棒性。颜色特征通常受两个物理因素影响：光源的光谱能量分布；物体的表面反射属性。在图像处理中，RGB 彩色空间通常用来表示颜色，但RGB 空间不是一个视觉上均匀的彩色空间，也就是说，RGB 空间中颜色的差异与被人感知的颜色差异不一致。相比之下，HSV（色调、饱和度、值）是近似匀称的颜色空间，但这些颜色空间易受噪声影响。下面简要介绍几种描述颜色空间基本特性的方法。

（1）RGB 颜色空间

RGB 颜色空间被称为计算机图形色彩空间，这种颜色空间是把图像颜色转化为计算机可以直接表达的信息，它的应用广泛，也是最基本的颜色空间，且目前所有的颜色空间都可以转化为RGB。RGB 颜色空间虽然易于被计算机标识描述，但其缺点是不符合人类视觉的感知特性，利用RGB 颜色刺激视觉神经不能分辨色彩，仅能感受到亮度，因此不符合人体生理特征。

（2）HSI 颜色空间

HSI（Hue，Saturation，Intensity）颜色空间是根据人的视觉系统建立的，它通过色调、饱和度和亮度描述图像的颜色。HSI 颜色空间用一个圆锥空间模型描述，其描述方法虽然复杂，但能把色调、亮度及饱和度的变化状况清楚地表现出来。人们把色调与饱和度统称为色度，色度通常表示色彩的类别和深浅程度。由于人的视觉对亮度较为敏感，这种敏感程度强于对颜色深浅的敏感程度，所以，根据色彩处理和识别的要求，建立了符合人的视觉系统的HSI 色彩空间。相比RGB 颜色空间，其更符合人的视觉感知特性。目前，在计算机视觉中，很多算法都可以在HSI 色彩空间使用，此空间可以把色调、亮度及饱和度分开处理，保持相互独立性。因此，HSI 颜色空间有很好的实用性。

（3）颜色的拮抗论

拮抗论又称为对立机制理论，最早由德国生物学家Hering 提出。这一理论认为人眼存在3 种独立的机制，每一机制由神经系统中一对相反的颜色组成：红-绿、黄-蓝和黑-白。每一感受都可交替进行两种彼此相反的感觉反应，但不能同时存在两种反应。研究者们普遍认为，人的光感受器这一级中，颜色信息是以红、绿、蓝3 种视锥细胞感知的，通过3 个独立变量接收，而光感受器接收的颜色信息在神经通路传递中以颜色对比形式编码传输。如图5-67所示。

图5-67　拮抗论颜色编码示意图

具体的拮抗论颜色表示方法如下：

式中，RG 表示红绿对比分量；BY 表示蓝黄对比分量。因此，可以利用拮抗论颜色特征描述物体。

上面主要介绍了颜色特征的几种描述方法，在利用颜色特征实现目标检测与跟踪时，主要采用颜色直方图、颜色集、颜色矩及颜色聚合向量4 种特征。颜色直方图是最常用的颜色特征表示方法，能有效地描述图像中颜色的全局分布，即不同颜色在整幅图像中所占的比例，且不受旋转和平移的影响，经过归一化后，还可以不受尺度变化的影响，但颜色直方图不能很好地描述目标的颜色分布特征；颜色集则是对颜色直方图的一种近似，在应用过程中首先将RGB 色度空间转换成视觉均衡的色彩空间，并进一步量化分区，同时，将图像表示成一个二进制颜色索引集；颜色矩是源自数学理论中矩的概念，对目标图像的颜色分布采用矩表示，由于颜色分布信息集中在低阶矩，因此，不超过三阶矩就足以表达图像的颜色分布；颜色聚合向量是颜色集的进一步延展，主要是对分区后的颜色集进行聚合，作为聚合像素处理。

2.亮度特征

根据对颜色的分析发现，亮度和颜色特征存在一定关系。其实，亮度特征是以灰度的形式表示图像的，而亮度在物理上是一种光学的计量，同样是人类心理物理量的反映。假设在标准条件下定义一些量值表示辐射量，形成与人的光感觉之间的对应关系。可见光的波长范围通常在380～780 nm，在此范围的亮度辐射出的物理量是人们能感知的，并直接反映成心理物理量。从人的感知角度讲，亮度就是人的视知觉感受到的光强度和能量的一种量度，是人眼对光辐射量的一种主观量度。

图像如果是彩色的，可以通过公式将其转换成灰度图像，但这个过程不可逆，无法将图像从灰度图像转化为彩色。对于一幅RGB 颜色空间的图像，转化为灰度图像，其关系为：

式中，I 代表亮度；R、G、B 分别代表红、绿和蓝在颜色空间的3 个分量。亮度的描述相对抽象，从视觉角度分析，其实表现出来的就是一种密度或强度（Intensity）。

3.方向特征

方向特征不依赖于颜色或强度特征而存在，并与颜色强度一样反映出图像的特征信息。Gabor 函数被看作是一种视皮层简单细胞的数学表示。Jones 和Palmer 通过电生理实验，测试视觉皮层简单细胞的空间频谱，发现简单细胞的响应特性与二维Gabor 函数相似。二维Gabor 函数表达式为：

参数σx 和σy 是Gauss 函数在坐标系x 和y 方向上的标准差，ω0 表示空间频率，二维Gabor 函数还可以分解为基函数和偶函数两部分，表达式分别为：

二维Gabor 函数的奇函数和偶函数与检测的生物视觉皮层细胞相似，图5-68描述了二维Gabor 函数的奇函数在空间域上的图像。

图5-68　Gabor 函数图像(www.xing528.com)

针对一个六边形，分别选择不同方向参数，采用二维Gabor 函数对图像进行滤波。图5-69给出了方向参数θ 为0°、45°、90°和135°的纹理方向响应效果，其中二维Gobor 函数波长参数选择为 λ=8，另外几幅图分别选择θ=180°和θ=225°滤波，可以得知图像的空间域上0°和180°、45°和225°滤波图像是相同的。所以，Gabor 函数中方向参数θ 的使用范围为0°～180°，还可以同时选择θ 为0°、30°、90°、135°这4 个方向和θ 为0°、30°、60°、90°、120°、150°这6 个方向进行滤波。方向越多，图像纹理表示越准确；同样，方向越多，反映的方向也越精细。

4.边缘轮廓特征

边缘是图像局部灰度变化不连续的部分，是图像中灰度的急剧变化，主要存在于目标与目标、目标与背景、区域与区域（包括不同色彩）之间，是图像分割、纹理特征提取和形状特征提取等图像分析的重要基础。研究表明，人类视觉系统的最前端包含对边缘敏感的细胞，它们在有一定强度和朝向的边缘出现时有较高的放电率，响应相对强烈。边缘检测作为图像处理、计算机视觉的一个基本工具，通常用于特征提取和特征检测，旨在检测一张数字图像中有明显变化的边缘或不连续区域。边缘检测的目的就是捕捉亮度急剧变化的区域，通常情况下，这些区域是视觉系统所关注的，也是进行目标检测与识别、图像理解等所必需的。通常情况下，边缘检测包含4 个主要内容：

图5-69　基于Gabor 函数选择不同方向参数对六边形滤波的效果

（a）0°；（b）45°；（c）90°；（d）145°；（e）180°；（f）225°；（g）0°、30°、90°、135°融合；（h）0°、30°、90°、120°、150°融合

（1）滤波

边缘检测本身是确定两个不连续区域的边界，其算法主要是利用一阶和二阶导数计算图像梯度，但在导数计算时，对噪声非常敏感，因此，必须先对图像进行滤波处理，改善与边缘检测相关的图像品质。而大多数滤波器在降低噪声的同时，也会导致边缘信息损失。边缘增强和噪声降低是边缘检测中的一对矛盾。

（2）增强

边缘增强首先是确定图像各邻域点强度的变化值。增强算法可以突出邻域（或局部）强度有显著变化的点。边缘增强一般也是通过计算梯度幅值来实现的。

（3）检测

理想情况下，对给定图像应用边缘检测器可以得到一系列连续的曲线，用于表示目标对象的边界。然而，在实际应用中，有些边缘线段会丢失，导致获得的图像边缘不连续，并且会存在一些不感兴趣的边缘。所以，应该用某种方法来确定哪些点是边缘点。最简单的边缘检测判据是利用梯度幅值。

（4）定位

边缘定位是对边缘的检测结果进行后处理，移除寄生的像素点。同时，在确定边缘位置的过程中，还可以采用插值、估计等方法在亚像素分辨率上估计图像边缘。

边缘检测在机器视觉领域一直都是研究的重点和热点，自20世纪70年代至今，从不同的应用背景和不同角度提出了很多方法，总结归纳，有三大类：第一类是经典的边缘检测方法，如微分算子法（Roberts 算子、Sobel 算子、Prewitt 算子及Laplacian 算子等）、最优算子法（LOG 算子、Canny 算子等）和拟合法等；第二类是以能量最小化为准则的全局提取方法，其特征是运用严格的数学方法对此问题进行分析，给出一维值代价函数作为最优提取依据，从全局最优的观点提取边缘，如松弛法；第三类是以小波变换、数学形态学、模糊数学、分形理论等近年来发展起来的高新技术为基础的图像边缘提取方法。

5.纹理特征

纹理特征作为一种全局特征，还没有一个明确的定义，一般认为与图像的光滑度、规则性、疏密度、灰度变化规律等相关，描述了图像或图像区域所对应景物的表面性质。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。纹理特征描述方法主要包括统计法、几何法、模型法和信号处理法等。

（1）统计法

统计型纹理特征以灰度共生矩阵为主，它是建立在估计图像的二阶组合条件概率密度基础上的一种方法。基于灰度共生矩阵的纹理特征分析方法由Gotlieb 等在研究共生矩阵统计特征的基础上，得出了灰度共生矩阵的4 个关键特征：能量、惯量、熵和相关性。另一种典型统计方法是从图像的自相关函数（即图像的能量谱函数）提取纹理特征，通过计算图像的能量谱函数，提取纹理的粗细度及方向性等特征参数。

（2）几何法

几何法是建立在基本的纹理元素理论基础上的一种纹理特征分析方法。纹理基元理论认为，复杂的纹理可以由若干简单的纹理基元以一定的有规律的形式重复排列构成，典型的方法有Voronio 棋盘格特征法和结构法。

（3）模型法

模型法以图像的构造模型为基础，采用模型的参数作为纹理特征。假设纹理是以某种参数控制的分布模型方式形成的，从纹理图像的实现来估计计算模型参数，以参数为特征或采用某种策略进行图像分割，因此，模型参数的估计是这种方法的核心问题。随机场模型方法和分形模型方法是两种典型的模型纹理特征提取方法。随机场模型方法以概率模型来描述纹理的随机过程，它们对随机数据或随机特征进行统计运算，进而估计纹理模型的参数，然后对一系列的模型参数进行聚类，形成和纹理类型数一致的模型参数。分形模型方法将分数维作为分形的重要特征和度量，把图像的空间信息和灰度信息简单而又有机地结合起来。

（4）信号处理法

基于信号处理的纹理特征提取与匹配方法主要有灰度共生矩阵、Tamura纹理特征、自回归纹理模型、小波变换等。

6.运动感知特征

运动与光照类似，也是视觉感知的重要特征。运动感知是指运动目标对视觉系统的刺激。光流法就是通过光照变化感知物体运动的，这其中光照与亮度相关，因此，利用光流法计算动态目标的运动特征。如果图像中有运动物体存在，则目标和图像背景发生相对运动，背景的速度矢量和目标的速度矢量必然不同，可以根据这种不同计算出运动物体的位置。光流法的优点在于，可以在没有任何场景信息的前提下检测出运动物体，并且还可以根据运动物体的信息还原相关场景中的三维结构。但是大多数光流法计算量大，比较耗时，所以实时性存在很大问题。此外，在实际应用过程中，由于多光源、遮挡、噪声等问题，使得光流场基本方程的灰度守恒假设不能被满足，很难得出准确的光流估计，这也是限制光流法进一步实际应用的主要原因。

在计算图像的光流过程中，图像中的每一个像素都会获得一个速度矢量，这就形成了一个关于图像运动的矩阵。这种运动的感知分为两种：一种是全局运动，简单点说，就是拍摄图像的摄像机运动，这种运动引起图像整体运动并带来光流的变化；另一种是局部运动，局部运动是图像中某一局部区域或动态目标产生了局部光流差异。当然，也存在全局与局部的同时变化，但是无论哪种变化，都不会影响计算每个像素的光流，即每个像素的速度矢量 vm。速度矢量的变化可以作为运动特征分析的依据。