本节使用JDE联合数据集进行模型训练，在包含目标边界框的Cal Tech、CityPersons数据集上采用检测准确性（m AP）指标验证检测响应的精准度，在包含行人边界框与ID的Cal Tech、CUHK-SYSU、PRW数据集上采用TAR@FAR=0.1指标验证量测特征的区分性，并在MOT15的训练集上利用多目标跟踪准确率（MOTA）等指标验证多目标跟踪算法的综合性能，最后在MOT16数据集上与现有方法进行对比。
本节采用的多任务模型以YOLO v3网络作为基础结构适应多目标跟踪场景中行人目标的尺度变化。实验中采用的图像分辨率为864×480，输入图像会被重新调整为此大小，并应用了随机缩放和颜色抖动的数据增强方法。网络的训练使用标准SGD优化器，学习率初始化为0.01，微调时使用的学习率为0.001，采用了默认参数和迭代次数。算法使用Pytorch作为训练深度神经网络模型和系统的实现工具，训练过程使用了包含4块NVIDIA GeForce GTX 1080显卡与高性能的CPU（Intel（R）Xeon（R）CPU E5-2678 v3，2.5G主频12核心48线程）。
1.损失函数及加权方法有效性实验
本节将分别对基于多任务模型的量测生成方法中改进的定位损失函数、特征提取损失函数以及多任务学习损失函数加权方法在相应任务上的指标结果进行对比验证。
1）定位损失函数有效性分析
定位损失函数影响了检测的准确度，因此对比了不同定位损失函数对检测性能的影响，使用平均准确率（m AP）指标衡量。这里对比的是常用的Smooth L1损失函数。在m AP的计算过程中，需要对预测结果区分真假正例，常用的区分标准为预测框与真值框的Io U，记为m AP@Io U；以预测框与真值框的GIo U为准则，提出了m AP@GIo U度量方法，以更好衡量预测框与真值框的位置关系。同时，不同的阈值设置直接影响了m AP指标的计算，因此本节在不同的Io U及GIo U阈值下进行了测试，表3-12总结了对比结果。
表3-12 不同定位损失函数的检测平均精度对比，分类损失函数与特征提取损失函数都为交叉熵损失函数，统一使用手动调优的加权方法
由表3-12的结果可以看出，DIo U损失函数在两种不同正负例区分标准下都获得了比Smooth L1损失函数更高的m AP分数。阈值为0.5时，在常用的m AP@Io U指标下，通过改进定位损失函数为DIo U损失函数可以获得0.2%的指标改善，而在GIo U准则下，m AP指标改进了0.3%。这是由于DIo U函数考虑到了预测框与真值框的空间重叠度（用Io U表示）的关系，所以可以更好地学习空间维度上的信息，有效提升了多目标跟踪中的检测定位准确度。特别随着阈值的提高，DIo U损失函数的模型结果还能保持相对高的m AP值，DIo U损失函数的设计保证了预测框与真值框在重叠、包含、不相交情况下都能继续优化，因此对空间关系的约束也更为严格，对应的检测结果也有更好的重叠度。综上所述，说明DIo U损失函数的引入提高了预测框的定位准确度，充分学习了空间上下文。
2）特征提取损失函数有效性分析
在特征提取分支引入ArcFace损失函数的目标是改善特征的区分性，实验中使用TPR@FAR=0.1来衡量特征的区分能力。本节分别对Softmax损失、Arc Face损失以及考虑乘性角度间隔的SphereFace损失函数进行训练与对比。表3-13总结了这些损失函数在验证集上的比较结果。
表3-13 不同的特征提取损失函数性能对比，统一使用手动调优的加权方法
由实验结果可以看出，SphereFace与ArcFace损失函数都能显著提升特征的区分性，虽然在检测精度上有微弱的损失，但是在特征区分性指标上分别取得了约1.5%和3.3%的提升，而且从多目标跟踪的MOTA与IDs指标也可以看出，对特征施加距离约束的思路的正确性，该思路可以帮助多目标算法提取到更加有区分性的特征，显著提高了算法关联准确度。而相比于SphereFace损失函数，Arc Face增加了对特征向量的归一化，同时引入了加性角间隔约束，取得了更佳的检测精度与特征区分度指标，分别提升约0.1%，1.8%，最后Arc Face损失函数的训练结果在多目标跟踪任务上也呈现出了最佳的效果，充分验证了本文使用的特征提取损失函数能够有效提升量测特征的区分性。
3）损失函数加权方法有效性分析
融合空间上下文的量测生成方法将检测与特征提取结合到一个多任务模型中，本节将对比不同的加权方法对多个任务性能指标的影响，并且对整体算法基于多目标跟踪指标MOTA进行评估。这里将本节引入的基于不确定性的多任务损失函数加权方法与另外两种常用的加权方法进行对比，包括：直接相加法、手动调优法。表3-14展示了不同这些加权策略的比较结果。
表3-14 比较不同的损失加权策略
如表3-14所示，对于损失函数直接相加的方法，特征提取的性能指标（TAR@FAR=0.1）达到较好的水平，但是另一个检测任务表现（m AP）却下降很多，最后导致跟踪准确率（MOTA）不佳。通过分析实验中的训练损失函数数值可以发现，三个损失函数的量级不一致，而特征提取任务由于对应的损失函数数值较高，所以在训练的反向传播过程中占用了较大的梯度，导致共享网络的检测任务的学习被影响，这个是多任务学习中常见的“梯度倾斜”现象。而在手动调优方法中，本节通过观察不同损失函数收敛时的损失值，人为估计不同损失函数的权重，从而使得不同损失函数的量级相近，这种调整使得多任务之间达到了较好的平衡，但是这个过程需要较多的先验知识与人为调整。而由表格可以看出，本节引入的基于不确定性的加权方法通过自动学习权重系数，达到了与手动调优方法相似的效果，而且权重参数在网络训练中直接优化，无须人为干预。
本节还在图3-34、图3-35中可视化了训练过程中的各个损失函数数值变化以及对应的加权系数变化情况，其中图3-34可视化的是加权系数si=log（σ2i）（i指示损失函数）的变化情况。由图3-34（a）（b）（c）可以发现，纵向比较三个尺度上同一损失函数对应的变化趋势是相同的；横向对比来看，刚开始变化时检测分类损失、检测定位损失的加权系数为负数，因此两者的初始权重较高，而特征损失的加权系数为正数，初始权重较低，符合手动调参时的经验。从每个损失函数加权系数的趋势上看，检测分类置信度的加权系数在不断减小，检测分类损失对应的权重缓慢增加；检测定位系数则保持相对稳定的比重；在训练过程中量测特征提取任务的本身的数值较大，初始权重较小，但是随着训练的进行其权重也在不断增加。最后，不同的损失函数加权后都能够收敛，可以看出不确定性策略对于基于多任务模型的量测生成方法是可行的。
图3-34 训练过程中不确定性策略的损失函数加权系数数值的变化曲线图
图3-35 训练过程中不确定性策略的损失加权系数的变化曲线图
2.融合时间上下文的数据关联方法性能分析
本文通过改进量测生成步骤提高了多目标跟踪的精确度，本节将通过数值指标比较本文算法与现有算法的性能，同时通过可视化技术验证本文算法对目标频繁交互或遮挡问题的解决情况。
本文将算法运行的结果提交至MOTChallenge评测网站，在MOT16测试集上进行了测试，并与现有算法进行了比较，测试结果如表3-15所示。
表3-15 MOT16测试集上与其他方法对比结果。最佳结果用加粗体标识，次佳结果用下划线标识，recall指标缩写为Rcll，precision指标缩写为Prcn
表3-15同时展示了现有公开的相关最优MOT算法，包括离线与在线算法。如表3-15所示，离线的方法可以利用未来帧的信息而且可以修正过去的结果，因此表现相对与在线算法较优。本文的算法属于在线算法，但是在指标上与在线算法的差距不大。考虑到总体跟踪精度，例如MOTA度量，本节的方法相比最新的算法都取得了明显的优势，相比同样使用多任务学习方法的JDE算法高0.6%，相比私有协议下的最佳算法CNNMTT仅低了0.2%。值得注意的是，本节的算法在召回率上有着相对明显的优势，在IDR与Rcll两项指标上均取得了最佳结果。也充分证明了，与现有方法相比，本节方法充分利用了时间上下文，减少了因为遮挡导致的空间置信度低而被漏报的情况发生，提升了召回率，有效地缓解了目标遮挡的问题。在运行速度方面，前文达到了22.82 fps的处理速度（包括量测生成与数据关联），本节对数据关联步骤进行了改进，可以达到21.86 fps的速度，导致了微弱的处理时间损失。
3.遮挡问题可视化分析
为了验证数据关联算法在目标表观相似情况下的效果，通过可视化技术查看本节方法在MOT16测试集合上得到的跟踪效果图，图3-36可视化了目标交互场景下的目标召回情况，并在图3-36可视化了目标遮挡场景下目标在遮挡前、后的跟踪情况。
图3-36 目标交互或遮挡场景下的实验结果图可视化（目标交互）
图（a）、图（b）、图（c）分别展示SORTw HPD16、3.2.2节算法与3.3.3节算法的结果图
图3-36对比了SORTw HPD16、本节对目标交互情况的鲁棒性。SORTw HPD16在数据关联时采用了多阶段的量测生成方法与简单的Io U进行匹配，对空间、时间上下文利用不足，而前文方法虽然融合空间上下文改进了量测质量，但是在目标交互这种空间信息少的情况，目标量测会因遮挡导致空间置信度低而被错误抑制，造成召回不足。由实验结果可以看出，融合时间上下文的数据关联通过增加量测的时间置信度，有效地保留了有用量测，即使在目标可见部分很少的情况下仍实现有效的量测召回。(www.xing528.com)
图3-37可视化了目标遮挡情况下的算法跟踪效果，完整展现了目标在遮挡前、后的跟踪情况，并与SORTw HPD16、DeepSORT_2进行了对比。由图3-37（a）的SORTw HPD16的跟踪效果图可以看出，在目标被遮挡情况下该算法基本失效。DeepSORT_2方法采用了多级数据关联方法，考虑了轨迹的时间确定性，相比SORTw HPD16取得了一定改进，图3-37（a）展示了该算法的跟踪结果，可见该算法仍然受到量测抑制算法的影响，存在召回不足的问题。而本节的算法有效保留了遮挡导致的空间置信度低的量测，并采用了基于时间确定性的分层关联策略以更充分利用时间上下文，由图3-37（c）可以看出即使在遮挡情况下，本节算法依旧能在连续时间上跟踪目标，改进效果显著。综上所述，融合时间上下文的数据关联方法有效利用了时空上下文互补的特点，缓解了严重交互或遮挡问题。
图3-37 目标交互或遮挡场景下的实验结果图可视化（目标遮挡）
图（a）、图（b）、图（c）分别展示SORTw HPD16、DeepSORT_2与本节算法的结果图
图3-37 目标交互或遮挡场景下的实验结果图可视化（目标遮挡）（续）
图（a）、图（b）、图（c）分别展示SORTw HPD16、DeepSORT_2与本节算法的结果图
4.基于稀疏化通道剪枝的多目标跟踪压缩方法实验性能分析
本节实验的整体训练流程是：（1）稀疏化训练，设置稀疏加权系数并训练；（2）模型剪枝，训练完成后根据通道尺度因子进行剪枝；（3）模型微调，最终得到压缩后的模型。其中，为简单起见，本节使用相同的全局剪枝阈值（τsparsity，即控制剪枝百分比），修剪后的模型是通过构建新的压缩模型并复制原始稀疏模型的权重来实现的。修剪后，获得了一个压缩后的模型，一般来说修剪后的模型精度损失较小，如果遇到损失较大的情况，可以通过微调来恢复性能。在微调时，使用了与训练相同的优化设置。由于稀疏化训练后的模型已经处于一个较佳的最优点，所以微调时一般将学习率设为较小值，本节使用了学习速率10-3进行微调。在参数敏感性分析实验中，采用从头训练的方式进行对比分析；在模型压缩性能分析实验中，采用前两个小节正常训练得到的多目标跟踪算法模型作为初始模型。
表3-16 本文算法模型的网络结构 注：主干网路为Darknet-53
续表
注：卷积核参数包括卷积核个数、卷积核长度、卷积核宽度、卷积步长，Conv-BN表示卷积层后置BN层的结构，多任务头支路的结构在第2章中说明。
在本文的算法模型中有一些特殊结构需要特殊处理，包括残差连接结构（shortcut）与路由结构（route），如图3-38所示。其中残差连接结构要求两路合并分支的通道数量相同，因此对于残差结构本节采取了保守的不裁剪方式，简化压缩难度。而对于路由结构，虽然也有通道合并的操作，但是此时通道是以相连（concatenate）方式合并，因此可以进行剪枝。
图3-38 模型中的特殊结构
5.速度对比
本小节中将通道剪枝压缩技术应用于本节提出的多目标跟踪算法中，表3-17展示了对比情况。
从表3-17中可以看出，通过模型压缩技术，本节移除了约52.68%的通道，明显地降低了模型大小。同时从FLOPs指标可以看出，模型压缩描述方法同时降低了所需的计算量，FLOPs约为原来的50%，但是却仍能保持与基线相近的精度，仅有1%的精度损失。
表3-17 压缩前后模型性能对比结果
注：*M=106
**假设所有模型参数用float类型存储，每个参数占4 B，10242 B=1024 KB=1 MB
表3-18展现了本节算法与现有算法在运行时间、跟踪性能指标上的对比。这里的运行时间包括了量测生成以及数据关联两个部分的总体耗时，可见本节算法在多模型转为单模型时已经取得了较好的运行速度（22.82 fps）。数据关联阶段，由于在数据关联预处理时保留了较多量测因此造成了一定处理耗时，损失了约1 fps。而模型压缩方法，对多目标跟踪中参数量较大的量测生成模型进行了压缩，从表3-18最后一行可以看出，速度有近3.5 fps的提升，相比于现有最佳算法，在任务精度MOTA上仅有可以接受的微弱损失。由此本节实验结果验证了本节模型在速度和任务性能上达到了较好的平衡。
表3-18 现有算法与本文算法的运行时间、跟踪性能对比
注：*基准上仅公开了算法的数据关联速度，量测生成速度统一估计为＜15。
6.与现有算法对比
将算法运行的结果提交至MOTChallenge评测网站，结果展示如表3-19所示，列出了本算法与现有其他算法比较的结果。
表3-19 MOT16测试集上与其他方法对比结果，最佳结果用黑体标识，次佳结果用下划线标识
续表
注：*该数据为网站上的公开数据（不包括量测生成部分的耗时），模型推理的设备不同，该结果仅供参考。
从表3-19可以看出本节方法对比其他方法在多目标跟踪任务的多个性能指标上都取得了显著的改进，MT、ML指示了跟踪算法对轨迹的跟踪能力，本节算法在MT指标上取得了0.30的结果，排名第三；ML为0.227，与最佳算法仅差0.06。同时在整体指标MOTA和IDF1上本节方法取得了次佳的结果。从速度上本节算法比其他算法取得了绝对的优势。由以上的实验分析可以看出，本节方法在取得多目标跟踪任务性能提升的同时，也保证了模型推理的速度，取得了两者较好的平衡。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
