核跟踪算法：通过运动计算实现的目标跟踪技术

核跟踪是通过计算目标运动实现，其中目标运动是由一帧到下一帧的简单目标区域表示的。目标运动一般具有参数化的运动形式（平移，适形，仿射等）或从后续帧中计算出的稠密光流场形式。这些算法根据使用的外观表示、跟踪目标的数量和评估目标运动的方法的不同而有所不同。我们把这些跟踪方法基于使用的表现形式分为两类：基于外观模型和多视角外观模型。

1）基于模板和密度外观模型的跟踪

因为模板和密度外观模型相对简单和低的计算成本，它们已被广泛使用。根据目标是分别跟踪还是联合跟踪的不同，把此类中的跟踪器进一步分为两个子类。

（1）单目标跟踪　此类中最常见的方法是模板匹配。模板匹配是一种暴力法搜索图像Iw，寻求同前一帧中定义的目标模板Ot最类似的目标区域。一般地，图像亮度和颜色特征被用于建立模板。

由于图像亮度对于光照变化非常敏感，图像梯度被用作特征。模板匹配的局限是由于使用了暴力搜索而导致了高的计算成本。为了减少计算成本，研究人员通常将搜索对象限制在其前一位置的附近。此外，更有效的模板匹配算法已被提出。

除了模板，其他目标表示特征也可以用于跟踪，例如可以通过使用外观矩形或椭圆形区域内的像素的颜色直方图或混合模型。Fieguth和Terzopoulos通过寻找矩形内部像素的平均颜色生成目标模型。为了减少计算的复杂性，他们只搜索目标的8个相邻位置。目标模型M和假设的位置H之间的相似性，是通过评估两者的颜色平均的比值计算得到的。比值最高的位置假设被选择为当前目标位置。

Comaniciu和Meer使用从圆形区域计算得到的加权直方图表示目标。他们使用平均移位程序而不是暴力搜索来定位目标。平均移位跟踪法迭代地比较目标的直方图Q和假设位置周围的窗型区域P，使目标的外观相似度最高。直方图的相似度是根据Bhattacharya系数定义的，其中b是迭代次数。在每次迭代中，计算平均位移矢量来增加直方图的相似性。重复这个过程直到收敛，通常需要5～6次迭代。对于直方图生成，作者使用了一个由一个空间内核定义的加权方案，它赋予靠近目标中心的像素更高的权重。Comaniciu使用联合空间颜色直方图，扩展了MeanShift跟踪方法，使用一个空间上联合分布的颜色直方图而不只是一个直方图。MeanShift相比于标准的模板匹配的一个明显优势是不再使用暴力搜索，以及在少量的迭代中对目标位置的计算。然而，均值漂移跟踪要求目标的一部分在初始化的圆形区域内部。

Jepson提出了一个目标的跟踪，跟踪的目标作为一个三分量的混合，包括稳定的外观特征、瞬态特征和噪声过程。稳定的特征提供了最可靠的外观估计，也就是说，物体的外观区域随着时间的推移而迅速地改变。瞬态特征标识快速变化的像素。噪声分量处理由于噪声引起的对象外观中的异常值。EM算法的在线版本可以用来学习这三个组成部分的参数。作者利用可控滤波器响应的阶段特征表示外观。目标的形状是由一个椭圆表示的。将追踪的目标区域在多个帧之间几何变换来计算物体的运动，这个变换包括平移（tx，ty），旋转（a，b）和缩放s，用代数形式表示为：

这个方法采用稳定和瞬态分量的加权组合来确定翘曲参数。学习稳定和瞬态特性的优点是可以赋予稳态变量更多的权重，例如，一个在说话的人的脸正在被追踪，比起他的嘴，鼻子和额头更容易在下一帧中得到匹配。跟踪由一个原始形状定义的区域的另一种方法是利用光流法。光流法通过计算每个像素的光流向量来产生光流密度场，存在常量约束I（x，y，t）－I（x＋dx，y＋dy，t＋dt）＝0，这个计算通常用于像素的邻域，无论是从代数角度还是从几何角度，用光流法难以计算一个矩形区域的运动。

KLT（Kanade Lucas Tomasi）是一种广泛使用的光流估算差分方法，它假定在所考虑的像素的局部邻域内，光流是恒定的，由此利用最小二乘原则对邻域内所有像素求解基本光流方程。KLT跟踪法迭代地计算1个兴趣点附近区域的运动，该运动方程和Lucas和Kanade提出的光流法很相似，一旦获得了新的兴趣点的位置，KLT通过计算几何变换来评估跟踪区域的质量。如果当前值和预测值的平方差和很小，继续跟踪这个特征，否则舍弃。

（2）多目标跟踪　单独模拟目标不会考虑多个目标之间和目标同背景之间的相互作用，如目标中部分或者完全被挡住了。下面给出的跟踪方法将以完整的图像建模，也就是说，背景和所有的移动物体都会被跟踪。

研究者提出了一种基于整幅图像上建模的目标跟踪方法，其中图像It是层次集合。该表示方法包括单一的背景层和每一个目标层。每一层包含先验形状（椭圆形）Φ，运动模型（平移和旋转）Θ，层外观A（使用单个高斯模型）。分层首先是通过投影运动建模补偿背景运动，通过投影运动建模，使物体的运动可以从二维参数运动的补偿图像估计得到。然后，属于一个层（目标）的每个像素的概率pl基于目标的以前的运动和形态特征计算得到。远离层的任何像素都被分配一个统一的背景概率pb。之后，将目标的外观（强度、颜色）概率pa和pl结合起来，得到最终的层估计。用最大化算法迭代估计得到t时刻的最大模型参数。然而，由于同时估计多个参数相当困难，作者提出估计一组的同时固定其他组。例如，他们首先使用每个像素的强度估计图层所有权，然后使用外观概率估计运动（旋转和平移），最后使用此结果更新层所有权。迭代估计每个未知目标，直到每一层的概率最大化。Isard和MacCormick提出了前背景的联合跟踪模型。背景外观通过混合高斯表示。前景目标的外观也可用混合高斯模型模拟。目标的形状被模拟成圆柱形。假设地平面已知，三维目标的位置能够计算获得。可以通过使用粒子滤波器实现目标的跟踪。他们修改了粒子滤波器的预测和验证部分，增加或者减少了状态向量的规模以便包含或者删除目标。该方法能够承受目标间的遮挡。然而，场景中目标的最大数目需要提前设定。该方法的另外一个局限就是对所有的目标使用了相同的模型，后期需要对前景样本进行训练建模。(www.xing528.com)

2）基于多视角外观模型的跟踪

在之前的跟踪算法中，如直方图、模板等外观模型通常是在线生成的。这些模型表示了最近观测中获得的信息。目标可能从不同的角度出现，跟踪过程中如果目标的角度改变很大，则外观模型可能会失效，目标就会跟丢。为了解决这个问题，目标的不同角度能够通过在线学习实现跟踪。

1998年，Black和Jepson提出了子空间方法，计算从目标当前帧到使用特征向量重构帧的仿射变换。首先，通过主成分分析（PCA）构造目标外观的子空间描述，接着通过最小化子空间常数方程，即最小化计算重构图像和输入图像的差获得从图像到特征空间的转换关系。这个最小化过程需要两步：寻求子空间系数和计算仿射参数。第一步固定仿射参数，计算子空间系数；第二步利用新的子空间系数计算仿射参数。基于此，通过反复迭代仿射参数直到输入图像和透射图像间的差最小为止。利用特征空间计算相似性是标准模板匹配技术很有用的方法，如SSD和正规相关性分析。特征空间相似性计算等价于特征模板线性组合的匹配。该方法允许模板的变形，如由于图像中光照改变导致的模板变形。

类似地，Avidan使用支持向量机（SVM）分类器进行跟踪。SVM是一个普遍性的分类框架，该框架基于正负训练样本寻求一个最优的超平面把数据分为两类。测试环节，SVM会对测试数据打分以表明测试数据属于正类的程度。SVM跟踪算法中，正样本由跟踪目标所在的图像组成，其他的图像都归为负样本。一般地，负样本会包含同目标混淆的背景区域。Avidan跟踪算法为了估算目标的位置，采用最大化SVM对图像区域的分类分数代替传统的最小化模板同图像区域之间的亮度差方式。该方法的一大优点就是背景目标知识被融入到整个跟踪框架内了。

该类别的跟踪算法主要目标就是对目标运动的估计。在区域的目标表示中，由于对于当前帧中目标上的每个点，利用运动模型能够估算出下一帧中其位置所在，所计算的运动隐式不但定义了目标区域还定义了下一帧中的目标方向。根据这些跟踪算法使用的环境，其中有一条属性比其他两条更重要。例如，仅运动适合基于目标的轨迹分析目标的行为。然而为了识别目标，包含该目标的区域很重要。为了对该类别中的跟踪算法进行评估，可以基于跟踪算法的期望定义相关度量方式。如果跟踪算法只需要提供目标的运动，该过程可以通过计算运动参数的估计值和实际值间的距离实现。距离度量可以是角度距离。

实际应用中，跟踪算法除了输出目标的迹，还要输出目标的正确区域。人们可以通过准确率和召回率评估跟踪算法的效果。准确率和召回率可以基于假设区域和真实目标区域的面积进行定义：准确率是区域交与假设区域面积的比率，召回率是区域交和真实区域面积的比率。

核跟踪算法的量化比较可以通过下列标准进行：单目标或多目标跟踪；遮挡处理能力；是否需要训练；运动模型类型；是否需要人工初始化。表2－1中给出了各种方法的量化比较。

表2－1　几何模型跟踪算法的量化比较

由于最先进的方法强调实时应用，人们通常使用原始几何形状表示目标。因为刚性约束条件，该类别中的跟踪算法计算目标的参数化运动。这类运动通常具有转移、一致仿射、映射的形式。目标的运动可以通过最大化前后帧中目标外观的相似性进行计算。计算过程可以是暴力搜索、使用梯度上升或下降最大化的某种形式。基于梯度上升或下降的目标跟踪算法需要目标的某个部分至少在选择的形状中可见，其中该形状的位置是由前一帧的目标位置定义。

为了消除这些约束，可以使用卡尔曼或者粒子滤波等方法预测下一帧中目标的位置。根据目标中心的速率和加速度定义的目标状态，这些滤波器将对目标中心的位置进行估计，其中核中的目标的观测部分的似然会增加。假设目标离摄像机很远，摄像机的运动可以通过仿射或者透射变换模拟，通过全局性运动补偿，这个需求能够被满足。原始几何形状描述目标的一大局限是目标的部分会在定义的形状区域外而背景的部分会在形状区域内。这个现象会出现在刚性和非刚性目标上。

这种情况下，最大化模型相似性计算目标的运动就不正确。为了克服这一局限，可以强行使核保留在目标里面而无须包围整个形状。另一种方法就是用关于颜色／纹理的概率密度函数模拟目标的外观并且基于观测颜色／纹理的条件概率给留在形状里面的像素赋以权重。