多源视觉信息感知与识别的目标跟踪评测指标

1.单目标跟踪评价指标

针对不同的数据集，目标跟踪的评价指标有所不同，下面将分别对OTB数据集和VOT数据集的评价指标简要介绍。

2.OTB数据集的评价指标

（1）中心位置误差（Center Location Error，CLE）：定义为检测到的目标中心位置与目标中心真值之间的欧几里得距离，计算公式如下

（2）成功率（Success Rate，SR）：定义为跟踪成功的视频帧数与总视频帧数的比值，计算公式如下

式中，score表示重叠率，RI表示预测得到的目标区域，Rg表示真实的目标区域，area表示区域面积，sn表示跟踪成功的次数，n为视频的总帧数，如果score＞0.5，则sn+1。

（3）距离精确度（Distance Precision，DP）：定义为中心距离误差小于所设定的某一阈值的视频帧数占视频总帧数的比例。

（4）成功率图（success plots）：预测边界框与真实边界框的重叠率，阈值为每个成功率图的曲线下面积。

（5）精确度图（precision plots）：显示出预测的位置在给定的阈值距离之内的帧数占总帧数的比例，通常使用20个像素点作为阈值。

（6）时间鲁棒性评估（OPE）：以不同帧初始化进行跟踪。任意给定一个初始帧，这个初始帧具有准确的目标边界框，跟踪器用这个任意的初始帧初始化直至跟踪结束，跟踪器评估每一个序列片段并记录整体的统计数据。

（7）空间鲁棒性评估（SRE）：以视频序列第一帧的不同边界框初始化进行跟踪，其中不同的边界框通过移动或缩放准确的真实边界框来抽取。

3.VOT数据集的评价指标

（1）EAO（Expect Average Overlap Rate）：是指将精度和鲁棒性在一张图上同时体现，精度的衡量方式是平均重叠率，鲁棒性的衡量标准是跟踪算法跟踪失败的次数。

（2）EFO（Equivalent Filter Operations）：是用于衡量速度的指标，可以最大程度地减少硬件差异带来的影响。首先测试滤波的操作时间，然后用跟踪算法所耗时间除以滤波操作的时间，得到的就是EFO值。

4.多目标跟踪评价指标

多目标跟踪领域已经建立了一套较为完善、通用的度量，其中包括：基本度量，CLEAR MOT度量以及ID度量，这些度量指标能够反映模型的整体性能，让算法可以被公平地测试和比较。

本书中，统一定义目标的标注为真值（ground truth），表示为gi；模型输出的结果称为预测（hypothesis），表示为hj。本书主要考虑的是基于2D图像的多目标跟踪算法，因此最常使用真值边界框与预测边界框的Io U来度量两者的相关性。需要说明的是，在建立真值和预测之间的映射时，如果真值目标gi和预测hj在第t-1帧中匹配，并且在第t帧中有Io U（gi，hj）≥0.5，则考虑到连续性约束，即使存在另一个预测hk使得Io U（gi，hk）＞Io U（gi，hj），也认为gi和hj在第t帧中匹配。也就是在执行完与先前帧的匹配后，才尝试使用Io U阈值0.5将其余对象与其余预测进行匹配。最后存在真值框没有与之关联的预测即认为发生了漏检（False Negatives，FN），而不能与真值框相关联的预测被标记为误检（False Positives，FP）。同样，每次真实目标跟踪被中断并在以后恢复时，都认为产生1次轨迹碎片（fragmentation），而在追踪期间如果发生被跟踪的真值目标的ID被错误地更改的情况时，都被计为发生了一次ID切换（ID switch），总数记为IDSW。图5-11提供了实例说明。

(www.xing528.com)

图5-11　目标分配轨迹id实例说明

（a）在第1～2帧给目标分配红色id，但在第3帧切换为蓝色id，被标记为1次ID切换；第4帧由于遮挡或者其他问题导致真值轨迹发生中断，也导致了轨迹碎片；第5帧恢复了目标跟踪，但是由于黄色轨迹最接近目标，因此第5帧还发生了不太直观的ID切换。（b）对于上面一条轨迹，尽管量测结果相当不错，但根据连续性假设，红色和蓝色量测都在置信范围内，由于上一帧是红色id，因此尽管蓝色量测更近，还是给目标赋予红色id，导致多个FP和FN，注意，在第6帧中不算产生轨迹碎片，因为该目标的跟踪并没有恢复；对于下面一条真值轨迹，在第1～2帧中跟踪到了目标，但是第3帧中目标丢失，然后在第5帧中被重新跟踪，因此第3帧产生了轨迹碎片，并且在第5帧中目标被赋予了新的（黄色）id，也表明了1次ID切换

多目标跟踪中又定义了多目标跟踪正确率（Multiple Object Tracking Accuracy，MOTA）和多目标跟踪精度（Multiple Object Tracking Precision，MOTP），这两个指标是综合计算来的，更具有总体意义，也是最常用的指标。MOTA的计算方法如下：

式中，真值框总数记为GT，MOTA通常以百分比形式表示。需要注意的是，数值可能为负，因为算法发生错误的次数可能超过真值框的总数。

另一方面，MOTP的计算公式为

式中，gt表示第t帧的真值目标，it表示第t帧中的假设结果，cgt表示匹配上的真值数量，dgt，it表示it和gt有重叠的标定框。需要注意的是，这个指标只考虑了很少的跟踪信息，而更侧重于检测的质量。

还有一些基本指标如：MT、ML、IDF1等，不再一一赘述，在表5-3中予以说明。

表5-3　多目标跟踪评价指标

注：其中MOTA、MOTP是总体指标。↓表示该项指标越小越好，↑表示该项指标越大越好，之后不再赘述。

5.目标检测评价指标

对于检测任务，本书主要关注其召回率（Recall）、精度（Precision）指标、平均精度（AP）以及各类别平均精度（m AP）指标，所述指标对应的计算方式如下：

式中，TP与FP的定义与多目标跟踪类似，但是没有时间连续约束，一般将Io U阈值设置为0.5。而AP是PR曲线（即Precision-Recall曲线）下面积，mAP是各类别的AP取平均值，本书只关注行人类别，因此m AP等于AP值，表5-4总结了本书使用到的目标检测的评价指标。

表5-4　目标检测评价指标