多源视觉信息感知与识别的目标跟踪数据库

目前单目标跟踪常用的数据集主要有OTB和VOT。OTB数据集和VOT数据集的样例如图5-12和图5-13所示。

图5-12　OTB数据集的图像样例示意图

图5-13　VOT数据集的图像样例示意图

OTB和VOT的不同有以下几点，首先OTB只有四分之三的彩色图像，而VOT没有灰色图像，这造成了使用颜色特征的跟踪算法性能差异较大；其次两个benchmark的评价指标不一样，OTB中可以给出各个算法的精确度图和成功率图，以及各个属性的精确度图和成功率图，并对各个算法进行排序，除了一次评估（OPE）以外，还有时间鲁棒性评估（TRE）和空间鲁棒性评估（SRE）。VOT中不仅有精确度分数还有鲁棒性分数（重叠率、失败率、精度等级、鲁棒性等级以及最后的等级）；最后也是差别最大的是OTB由任意帧或者附加随机干扰的视频序列第一帧初始化，这样与检测算法预测得到的边界框更加接近，而VOT是用视频序列第一帧初始化，并且通常认为是tracking-by-detection的短期跟踪，即发生跟踪失败的情况时，5帧之后检测器会重新初始化跟踪器。

随着视频多目标跟踪领域的发展，陆续出现了一些公共数据集，例如：PETS-2009，KITTI，MOTChanllenge等。其中，PETS-2009是早些年使用广泛的数据集。该数据集在前些年应用广泛，但由于该数据集存在一些不规范使用该数据集的问题，因此无法验证算法的代表性、公平性与鲁棒性，近年来逐渐不再使用。KITTI数据集是自动驾驶场景下收集的评测数据集，用于评测在车载环境下3D物体检测和跟踪等任务的性能，由于本书关注的是行人多目标跟踪，该数据集的部分视频序列的行人密度较低且行人过小，因此不适用于本书的验证。

表5-5　MOT Challenge数据集详情

现有常用的多目标跟踪基准数据集为MOTChanllenge，该数据集是目前最为权威、常用的行人多目标跟踪公开数据集，包括了ETH、TUD、PETS-2009和KITTI等现有数据集的部分视频序列，主要用于比赛评估。经过多年的发展，基准现有MOT15、MOT16和MOT17数据集，数据集的基本情况在表5-5中展示。值得注意的是，由于检测的质量很大程度影响了多目标跟踪质量，因此不同数据集都提供了特定公开检测集供各算法公平对比，这样保证了对不同跟踪算法性能评价的公平性。MOTChanllenge数据集划分了训练集和测试集，训练集（提供视频数据、公开的检测结果以及真值标注文件），测试集（提供包括视频数据和公开的检测结果，真值标注文件未公开），算法在测试集上的评估需要将结果提交给测试服务器进行的，评估结果包括多种指标，MOTA是MOTChallenge的主要评估得分。数据集的标注格式如表5-6所示、数据集的样例如图5-14所示。

表5-6　MOT16数据集标注格式

(www.xing528.com)

图5-14　MOT16数据集的概览

第一行为训练序列，第二行为测试序列

标准多目标跟踪数据集存在视频序列数量少的问题（MOT15只有11个训练序列，MOT16/MOT17只有7个训练序列），所以获得的模型泛化性不佳，而本书的工作内容之一是提升多目标跟踪量测特征的区分性，开展此项研究需要大量的有标注的视频数据，因此亟需增大数据量用于模型的训练。现有部分工作通过引入行人重识别数据集来扩充数据集，但是经过调研发现，大多数行人重识别数据集的图片是检测器的检测结果裁剪出来的，而非全图，而不符合多目标跟踪场景中在图中定位目标且提取特征的流程，也不适用于本书提出的算法。

考虑到行人检索和行人检测任务的数据集往往是基于完整图像，与本书所提算法的使用场景相似，因此经过广泛调研与数据集分析，本书由于使用了近年发布的JDE数据集，该数据集在多目标跟踪数据集MOT16/17基础上融合了：2个行人检测数据集（ETH数据集和City Persons数据集），该类数据集仅包含标定框标注；3个行人检索数据集（Cal Tech数据集，CUHK-SYSU数据集和PRW数据集），该类数据集包含标定框标注以及ID标注；最后排除了ETH数据集中与MOT16测试集重叠的视频以进行公平评估。数据集使用了以下的统一标注，如表5-7所示。

表5-7　JDE数据集标注格式

最终的数据集组成如表5-8所示。另外，因为数据的ID数量、框数量以及对应密度等信息较为重要，本书还进一步分析了各个数据集的统计数据总结至附录表1。本书使用JDE数据集作为训练集与验证集合，使用MOTChanllenge数据集作为测试集，用该结果评估多目标跟踪算法的整体效果。

表5-8　最终的数据集组成情况

注：其中CityPersons数据集缩写为CP，Cal Tech数据集缩写为CT，CUHK-SYSU数据集缩写为CS。