如何使用剪影跟踪法进行目标跟踪？

目标可能具有复杂的形状，如人的手、头和肩膀都不能够用简单的几何形状表示。剪影方法为此提供了一个准确的形状描述途径。剪影目标跟踪算法其目标就是根据历史帧中生成的目标模型在每一帧中寻求该目标所在区域。这个模型可以是颜色直方图，边缘或者轮廓线的形式。为此，剪影目标跟踪算法可分为两类，即形状匹配和轮廓跟踪。形状匹配就是在当前帧中寻求目标的剪影，轮廓跟踪方法就是通过状态空间模型或者直接最小化能量函数对当前帧中的新位置的初始化轮廓进行演化计算。

1）形状匹配

它类似模板匹配，在当前帧搜索剪影和关联的模型。该搜索过程通过计算目标同从历史帧假设的目标剪影中生成的目标模型间的距离实现。该方法由于假定剪影仅仅从当前帧到下一帧的转变，故未能明确地处理非刚性目标运动。目标模型，通常以边缘图形式出现，它在目标定位后的每一帧中将重新初始化处理外观的改变。该更新过程需要克服类似非刚性目标运动产生的视点和光照条件变化相关的跟踪问题。1993年，Huttenlocher等人用边的描述实现了形状匹配。他们使用Hausdorff距离构造相关性表面，从该表面上选择最小值作为新的目标位置。

Hausdorff度量是一个数学测度方式：

即比较两个集合A＝｛a1，a2，…，an｝和B＝｛b1，b2，…，bm｝中最相近的元素，其中是范式。

在利用边模型的匹配环节中，Hausdorff距离度量最不匹配的边，为此，这个方法强调那些不受目标动作巨大影响的边缘部分，如行走中的人，头和肢体不会完全改变人整体的形状，手臂和腿的运动将导致形状的改变，以至于删除那些对应于手臂和腿的边会提高跟踪的效果。

类似地，有研究者提出了使用Hausdorff距离检测痕迹和姿势估计问题。他们在假定的剪影内部计算光流向量实现跟踪，其中平均流生成了新的目标位置。对于校验环节，需要一个边模型为所有可能的目标及其姿势进行跟踪。他们对假设的目标边缘使用距离转换以便加速Hausdorff距离中L2范式的计算。

另一种形状匹配方法是在连续两帧中寻求对应的剪影。剪影匹配类似点匹配，其间主要的不同体现在目标表示和使用的目标模型上。特别要注意，剪影匹配相比点匹配需要用到整个目标区域而非仅仅点。另外，它还利用了目标的外观特征，点匹配仅仅使用动作和位置特征。剪影检测通常基于背景差实现，一旦检测出目标的剪影，匹配便计算目标模型和每个剪影之间的距离。目标模型通常具有密度函数的形式，如颜色或者边缘直方图、剪影边界、目标边缘或者这些模型的组合。2004年，Kang等人用颜色和边缘直方图作为目标的模型。同传统的直方图相反，他们提出以参考圆上控制点为中心且半径不同的同心圆生成直方图，其中选择包围目标剪影最小的圆作为参考圆。同心圆的使用隐式地把空间信息编码进了正则直方图中，其中（x，y）被包含在观测向量中。求得的颜色和边缘直方图保持旋转、平移和尺度不变性，在一致仿射变换条件下，匹配得分相同。基于互相关、巴氏距离和KL散度3个距离测度可以获得匹配的得分。在这三个测度中，巴氏距离和KL散度比较类似，效果比自相关测度好。为了在连续帧中匹配剪影，Haritaoglu等人通过从目标剪影中获取的边缘信息模拟目标的外观。基于恒定的速率假设，边缘模型被用于优化目标转移过程。这个改进能够基于连续帧中目标边缘间的二值相关性实现。同在连续帧中寻求可能的剪影匹配相反，跟踪剪影可以通过计算剪影内部每个像素流向量获得，满足流相对于被用来生成剪影轨迹的整个剪影是主体的。依照这个观测，Sato和Aggarwal提出通过把在速率空间中的使用Hough变换用在连续帧中的目标剪影上生成目标的轨迹。使用背景差算法获得二值目标剪影。于是从每个运动区域像素周围的空间-时间窗口，对于竖直流v和水平流u，可以通过速率Hough变换计算投票矩阵。这些投票矩阵提供了每帧的时序空间速率图TSV即4D（x，y，u，v）。TSV图像根据投票数目编码活动区域中像素的主要的动作和似然度，其中满足阈值操作将生成具有类似动作的区域。同基于剪影外观的匹配相反，由于不同的目标角度，TSV给出了基于目标剪影动作的匹配且对外观不敏感。

2）轮廓跟踪

它同形状匹配方法相反，它通过历史帧中的一个初始化轮廓在当前帧中反复迭代计算出新的位置。这个轮廓计算需要当前帧中的目标的某部分和前帧中的目标区域有交叠。基于轮廓计算的跟踪可由两个不同的方法实现。第一个方法将使用状态空间模型模拟轮廓形状和运动。第二个方法将通过使用直接最小化技术，如梯度下降法最小化轮廓能量直接计算轮廓。

（1）基于状态空间模型的跟踪　目标的状态基于轮廓的形状和运动参数定义。在每个时间段，状态进行更新，最大化轮廓的先验概率。先验概率依赖先验状态和当前的似然指数，Terzopoulos和Szeliski通过控制点的动力学定义目标状态。控制点的动态性用弹簧模型建模。轮廓的新状态可以利用卡尔曼滤波器进行预测。相关性环节利用了图像梯度定义的图像的观测数据。(www.xing528.com)

1998年，Isard和Blake基于样条形状参数和仿射运动参数定义了目标状态。这些度量由轮廓法线方向上的图像边缘构成。使用粒子滤波对状态进行更新，为了让滤波器获得初始的样本，他们在训练阶段从连续帧中抽取的轮廓中计算状态变量。在测试环节，当前的状态变量通过粒子滤波估算出来，基于轮廓上控制点沿着法线上的边观测值。2000年，MacCormick和Blake将基于粒子滤波的目标跟踪算法进行了扩展，基于排他原理处理遮挡问题实现了多目标的跟踪。这个排他原理整合进粒子滤波框架的采样阶段，即对于两个目标，若两个目标的观测空间中出现一个特征，则这个特征就对发生遮挡目标的样本贡献更多。

由于排他原理只定义于两个目标间，这个方法至多能够跟踪发生遮挡的两个目标。研究者2001年提出了一个轮廓跟踪算法，其中轮廓被参数化为一个椭圆。每个轮廓节点相关联一个HMM且每个HMM的状态由轮廓控制点法线上的点定义。轮廓的观测似然依赖于背景和沿着轮廓控制点法线方向的边定义的前景部分。HMM的状态迁移概率通过JPDAF估算。基于观测似然和状态迁移概率，当前的轮廓状态可以通过Viterbi算法计算获得。近似获得轮廓后，使用一个椭圆拟合加强椭圆形状约束。上述讨论的方法都使用了如参数化曲线尺显式描述了轮廓。显式描述不允许如区域分裂或合并的拓扑变化。接下来基于能量函数直接最小化讨论跟踪方法。这些方法使用了隐式描述且允许拓扑变化。

（2）基于轮廓函数直接最小化的跟踪算法　在轮廓计算过程中，轮廓跟踪方法和分割方法类似。两者都是最小化能量函数或者通过贪婪方法或者通过梯度下降法。轮廓能量通过时序信息或者时序梯度（光流）或者目标和背景区域的外观统计先验定义。使用时序图像梯度的轮廓跟踪是对光流计算的大量工作发展而来。

光流约束条件来自亮度恒定的约束：

式中，I是图像，t是时间，（u，v）是关于x和y方向上的流向量。Bertalmio等人利用这个约束计算连续帧中的轮廓，目标是利用层级集合表示针对每个轮廓位置反复迭代计算u和v。类似地，Mansouri在轮廓跟踪中也使用光流约束条件。同Bertalmio等人仅仅基于目标边界计算流相反，他的方法将基于整个目标区域内部某个半径为r的圆形区域使用暴力搜索计算流。一旦流向量计算获得，基于亮度恒定的约束条件的轮廓能量就被计算出来，迭代计算这个过程直到能量最小化。

2003年，Cremers和Schnorr基于目标的内部区域具有同质的光流向量这个约束条件，用光流方法计算目标的轮廓。它们的能量是常见Mumford－Shah能量的改版，计算轮廓指导区域内的流向量达到一致。他们也整合了形状先验用以更好地估算目标形状。形状先验由一个目标轮廓集合生成，其中轮廓上的每个控制点都关联一个高斯函数，这个高斯函数以所有轮廓对应控制点的空间位置的均值和标准差作为其参数。基于光流的方法就是一帧帧地探索目标内外区域的统计属性。这个方法需要对当前帧中轮廓的位置进行初始化。Ronfrad基于由Ward距离形成的分段静态图像模型定义了用来计算轮廓的能量函数。Ward距离被认为是关于图像对比度的度量。然而，Ward距离理论上尚不能够定义，因此，Ronfrad的方法分别计算每个轮廓点基于其局部领域。

类似地，Yilmaz和Shah使用从目标边界周围带状区域生成的颜色和纹理模型获得目标的轮廓。带状区域的宽度可以把区域和基于边界的轮廓跟踪方法整合到一个框架中。同之前提到的方法相反，Yilmaz等人基于一个层级和形状模型模拟目标的形状与其变化。这个模型中，层级集合中的网格点设定为中值和点到目标边界的距离的标准差，层级形状模型解决了跟踪中的目标遮挡问题。

剪影跟踪需要目标的一个完整区域。在区域跟踪环节，准确率和召回率通过真实目标的真实区域和假定区域的交定义：准确率是交和假定区域面积比率，召回率是交和目标真实区域面积的比率。跟踪剪影最重要的优点是其能够灵活地处理大量的目标形状。有很多方法表示剪影。最常见的剪影表示是基于一个二值指示器函数，这个函数把目标区域标记为1，非目标区域标记为0。

基于轮廓的方法使用显式或者隐式表示剪影。显式表示通过控制点定义了剪影的边界。隐式表示基于一个定义在网格上的函数定义了剪影。最常见的隐式轮廓表示是层级集合表示法。基于剪影的目标跟踪算法选择的表示模型有运动模型（类似点跟踪算法）、外观模型（类似核跟踪算法）或者形状模型或者这些模型的组合。目标外观通常通过参数或者非参数化的密度函数如混合高斯或者直方图模拟。目标形状能够以轮廓子空间的形式模拟，其中子空间是从可能的来自目标不同姿势的目标轮廓集合中生成的。

另外，目标形状能够通过层级集合函数隐式模拟，其中层级集合函数网格位置被赋予由层级集合函数生成的距离。人们经常基于外观的形状描述对剪影进行暴力搜索。Hausdorff距离是基于边缘形状表示广泛使用的独立方式。然而，众所周知Hausdorff度量对噪声敏感。因此，研究者考虑使用距离的均值代替使用最大距离。遮挡处理是剪影跟踪方法的另外一个重要方面。通常的方法不会明显地考虑遮挡问题。遮挡发生的时候，一个常见的处理方法就是假设持续的运动或者均匀加速，目标的剪影从前帧转移到假设的新位置。很少有方法会通过强加形状约束条件显式处理目标遮挡问题。剪影跟踪算法的另一个重要特点就是处理目标分裂和合并的能力。