多目标跟踪算法：融合压缩描述的新进展

受益于深度学习的强大表征能力，现有多目标跟踪算法大大改善了任务准确率，例如：在量测生成阶段常采用卷积神经网络（Convolutional Neural Network，CNN）进行目标检测与特征提取，一些算法还在数据关联时引入了循环神经网络（Recurrent Neural Network，RNN）。但是基于深度学习模型的多目标跟踪算法在实际应用中仍存在一些制约因素：

·深度学习模型存在参数量大问题，例如：经典卷积神经网络模型Alex Net约有0.6亿参数和VGG16大约有1.3亿的参数量，分别消耗超过200 MB和500 MB的存储空间。而在自动驾驶、机器人导航等应用场景中，多目标跟踪算法需要部署在低资源设备上，参数冗余可能造成设备的存储空间紧张，阻碍了算法的应用。

·深度学习模型存在运算复杂度高问题，现有的多目标跟踪算法推理时间的计算一般仅考虑数据关联步骤的耗时，而不考虑量测生成部分的耗时，而实际应用中生成量测的时间占了算法总耗时的很大比例，因此不可忽略。在设备的计算能力不足时，量测生成与数据关联步骤的过高运算复杂度将造成推理时间过长，影响算法在高实时性要求场景中的应用。

近年来，以上问题引起了工业界与学术界研究人员的重视，现有多目标跟踪压缩与加速方法的压缩对象可以大致划分为三类：输入、输出、模型，对应方法的算法流程如图3-31所示。

其中，对输入压缩的方法，如图3-31（a）所示，主要思路是利用压缩域视频中的运动向量，从而减少视频解码运算量以及提取运动信息的运算量，但是该方法仅能加速推理过程而无法压缩模型大小。对输出压缩的方法，如图3-31（b）所示，一般通过压缩感知等降维方法压缩输出特征图，主要减少了运行时内存的占用。以上方法能够一定程度上减少算法推理的运算量，但是都无法缓解参数量冗余情况，制约了算法在低资源设备上的部署。对模型压缩的方法，如图3-31（c）所示，主要思路是通过合并多目标跟踪算法的若干个阶段来实现多个模型的参数共享，这类方法取得了显著的速度提升，且一定程度上减少了模型的参数量，但是共享模型仍然存在参数冗余的情况，还有很大的压缩空间。

图3-31　现有多目标跟踪模型压缩与加速方法，三个子图分别表示对输入压缩的方法、对输出压缩的方法、模型共享的压缩方法

综上所述，多目标跟踪算法的应用还存在模型参数量大与运算复杂度高等问题，本节引入模型压缩描述技术以压缩与加速多目标跟踪算法的模型，结合对所提算法模型与现有压缩描述技术的分析，设计适用于本文算法的稀疏化通道剪枝方法。

稀疏化通道剪枝方法如下。

通道级别的稀疏有助于识别模型中不重要的通道，这些通道将在后续的剪枝阶段被移除。基于原始多目标跟踪模型在卷积层后置批正则化层的结构特点，本节利用批正则化层以通道激活的特性，稀疏化通道剪枝方法控制原始多目标跟踪模型的通道稀疏度，在训练中识别通道的重要性，训练流程如图3-32所示。

(www.xing528.com)

图3-32　稀疏化通道剪枝训练流程

BN层根据当前批次（mini-batch）的统计信息对内部激活进行标准化（normalization）。假设zin和zout是BN层的输入和输出，B表示当前的小批次（mini-batch），BN层执行以下转换：

式中，Ltotal在公式（3-14）中定义，δ是正则化项的稀疏加权系数，g（γ）为引导稀疏（sparsityinduced）的正则化函数，本文中有g（γ）=|γ|。L1正则化项约束γ产生稀疏的分布，在模型训练时会将γ值推向零，从而在训练中让网络自动进行通道选择，这个过程称为稀疏化训练，如图3-33所示。因为通道尺度因子是基于通道级别的稀疏，相比直接在权重上施加正则化项，可以获得更加规整的稀疏结果，无论在压缩性能上还是应用部署上都要突出的优势。

图3-33　稀疏化通道剪枝压缩方法示意图

其中γ为通道尺度因子，不同的通道由不同γ值控制通道的稀疏度。虚线表示对应的通道连接被移除，实线表示保留的通道连接

对于稀疏化训练获得的模型通过剪枝实现模型的剪枝压缩。稀疏化训练后的模型中包含了许多通道尺度因子接近零的通道，剪枝操作将通过删除通道的所有传入和传出连接以及相应的权重来修剪对应通道。降低操作的复杂度，本节对所有层使用了相同的阈值τsparsity，而且阈值代表着所有通道尺度因子值的移除百分比（对应通道数比例）。移除不重要的通道有时可能会暂时降低性能，因此需要对修剪的网络进行微调重训练（finetune）调整剩余参数，以恢复模型压缩导致的性能损失。该模型压缩描述方法具有易于实现、对模型精度损伤小的优点，在本文前两章提出的目标跟踪算法模型上得到了应用，最终可以获得在模型大小、运行时内存和计算操作方面都更具优势的多目标跟踪算法。