多目标跟踪数据关联方法融合时间上下文

多目标跟踪算法在量测生成步骤生成了当前帧的最新量测，数据关联步骤则实现了新量测与轨迹的匹配关联。理想情况下，量测能表示目标的真实状态，但是量测过程中，实际跟踪环境存在强不确定性，使得量测往往带有较大的噪声，特别对于目标交互或遮挡的情况，仅仅依赖空间信息的算法容易出现漏检（把目标区域识别为背景）问题，将直接导致跟踪失败，因此，多目标跟踪算法在目标交互或遮挡场景下的鲁棒性不足问题亟待解决。

事实上，目标在过去帧中的运动情况可以为目标在当前帧的量测提供丰富的时间上下文信息，如图3-27所示，人眼可以轻松根据时间上下文估计目标或者轨迹位置，捕捉到被遮挡的目标，充分说明了时间上下文信息能够弥补交互或遮挡情况下空间信息的不足。

图3-27　时间上下文示意图

现有数据关联方法一般采用线性或者非线性运动模型预测轨迹在当前帧的位置，然后利用余弦距离、欧式距离、交并比等度量准则计算新量测与轨迹预测结果之间的相似度，并设计利用匈牙利算法（the Hungarian algorithm）等匹配算法的关联策略进行匹配优化，如图3-28所示。

图3-28　现有数据关联方法示意图

融合时间上下文的数据关联方法包括：基于运动估计的量测抑制方法与基于时间确定性的分层关联策略。结合3.3.1节的定义，多目标跟踪的数据关联问题可以转换为给定量测序列推理出状态序列的最大后验概率估计问题，表示如下。

一方面，量测生成阶段获得的检测响应Zt与量测特征集合Et构成量测集合Ot={Zt，Et}，本节提出基于运动估计的量测抑制方法，利用运动模型建模时间上下文信息对候选量测Ot进行预处理，移除部分冗余量测并保留被遮挡量测，保证最终量测集合O*t的完备性；另一方面，T1∶t-1={T i|1＜i＜M}表示已有轨迹集合，轨迹T i是目标i对应的状态集合，即有Ti={sik|1＜k＜t-1}，本节提出基于时间确定性的分层关联策略，根据轨迹的时间确定性分层匹配量测O*t与轨迹T i，计算轨迹预测与量测之间的相似性，进一步缓解遮挡带来的轨迹不确定性问题，有效提高多目标跟踪算法在目标遮挡场景下的鲁棒性。总体思路如图3-29所示。

图3-29　融合时间上下文的数据关联方法总体思路

以下将分别对基于运动估计的量测抑制方法、基于时间确定性的分层关联策略进行介绍。

1.基于运动估计的量测抑制方法

针对原来量测预处理阶段忽略时间上下文的问题，本节通过融合时间上下文改进原有的量测置信度计算方式，介绍基于运动估计的量测抑制方法，具体流程如图3-30所示。

图3-30　基于运动估计的量测抑制算法

多目标跟踪的数据关联问题可以转换为给定量测序列推理出状态序列的最大后验概率估计问题，表示为公式（3-21）。

(www.xing528.com)

式中，T1∶t-1表示已有轨迹集合，~Ot={Zt，Et}表示量测生成阶段获得的量测集合，包括检测响应Zt与量测特征集合Et，此时的量测集合包含了冗余量测，基于运动估计的量测抑制方法正是用于抑制冗余量测。

量测的完备性是鲁棒性数据关联的前提。量测生成阶段获得的量测集合Ot存在较多的冗余量测。本节方法在相似性计算步骤前，增加数据关联预处理步骤处理候选量测Ot。当遮挡发生时，被遮挡的目标仅部分可见，为缓解发生仅依赖空间信息容易导致错误抑制有效量测的问题，影响了量测的完备性，本节提出的基于运动估计的量测抑制方法利用帧间的时间上下文信息，增加了被遮挡量测的时间置信度，通过融合时间上下文提升了被遮挡量测的置信度。基于运动估计的量测抑制方法旨在减少被遮挡量测由于空间置信度过低而导致的错误抑制的情况，方法的步骤流程如算法1所示。

算法1　基于运动估计的量测抑制算法

综上基于运动估计的量测抑制算法，通过运动模型学习时间上下文信息，保留了更可信、完整的量测候选，本算法改进了量测置信度的计算，适用于各种不同的NMS变体。

2.基于时间确定性的分层关联策略

轨迹预测能够缓解遮挡导致的漏检问题，但是类内遮挡可能导致该轨迹状态被其他邻近目标关联，为了减少无用目标或者背景可能混入轨迹的表观特征中，本节采用了分层关联匹配的策略。

第一层关联时，主要利用量测与轨迹的表观特征进行关联。本节利用余弦距离计算第i个量测的表观特征向量e it与第j条轨迹的表观特征向量F j之间的距离。

同时利用马氏距离门限（Mahalanobis distance gate），移除因Kalman滤波引入的不合理关联结果（assignment）。

对于关联后的部分剩余轨迹或者量测进行第二层关联，本节采用第二种相似性指标Λ2从量测与轨迹的位置关系用于剩余轨迹与量测的关联。

计算相似性矩阵后，采用匈牙利算法（Hungarian Algorithm）完成量测与轨迹之间的匹配，关联之后利用量测的位置信息更新轨迹状态，并利用量测的表观特征更新轨迹的表观特征。

对于迭代结束还未关联的轨迹的状态标记为丢失，如果关联间隔I超过阈值Imax，则视为轨迹终止，则重置跟踪器；对于尚未分配的量测结果，认为出现了新的目标，初始化新的轨迹跟踪器。最终实现了新量测O*t与已有跟踪轨迹T i之间的关联匹配。