热红外图像人体目标检测方法：算法工作流程

算法整体流程见图4.16。红外热像仪所采集的热红外图像经过图像分割和目标初步筛选后，获得候选目标的ROI区块。随后，提取各ROI区块的单调波方向能量直方图（histogram of oriented monogenic energy，HOME）特征，最后基于输入的HOME特征，由已训练的深度置信网络（deep brief network，DBN）实现分类识别。

图4.16　基于HOME的热红外人体识别流程

1）HOME特征生成

由于缺乏纹理和颜色信息，识别热红外图像中的人体目标主要依赖图像边缘信息，但是热红外图像边缘往往较模糊且受噪声污染，因此有效提取边缘信息面临较大的困难。如前所述，单演信号的组分，特别是局部幅度、局部方向组分，实现了有意义的边缘信息描述。为此，本节基于单演组分构建HOME特征，达到合理描述热红外图像边缘的目的。

令f为候选目标ROI区块，由式（4.37）可计算f的MMSR组分Ak，k=1，2，…，S和θk，k=1，2，…，S，然后按如下步骤生成HOME特征。

（1）将任一Ak，k=1，2，…，S和θk，k=1，2，…，S划分为P×Q个大小相同的非重叠网格。

（2）将方向角［0，π］平均划分为N个bin并依次编号为1，2，3，…，N。将θk（x，y），k=1，2，…，S按数值大小归入对应的bin并记录所归入bin的编号i，i∈［1，N］，再用bin编号i取代θk（x，y），得到离散局部方向θk，k=1，2，…，S。

（3）在Ak，k=1，2，…，S上计算方向能量直方图j=1，2，…，P×Q。首先统计θk，k=1，2，…，S上每个网格内具有相同bin编号的元素位置，然后累加Ak，k=1，2，…，S在这些位置上的能量值，最后将对应于全部bin编号的总能量对bin编号作直方图，即得某一网格的方向能量直方图。

（4）按Z字形扫描顺序，串接Ak，k=1，2，…，S全部网格的能量直方图特征j=1，2，…，P×Q，以得到Hk，k=1，2，…，S，即

（5）按尺度由大到小，串接全部Hk，k=1，2，…，S，即得HOME特征向量H=｛H1，H2，…，HS｝。

图4.17展示了尺度k上的方向能量直方图特征Hk的生成过程。(www.xing528.com)

2）DBN网络构建与训练

DBN是一种典型的DNN，具有灵活配置和快速训练的优点，本节方法采用DBN实现自动特征抽象及分类结果输出。

图4.17　单一尺度HOME特征提取过程示例

（a）候选目标ROI区域；（b）第k尺度局部方向θk；（c）第k尺度局部幅值Ak；（d）θk上的网格；（e）Ak上的网格；（f）方向槽位bin设置；（g）离散方向图；（h）第k尺度特征向量

图4.18　DBN网络结构

DBN包括一个可见层（或输入层）、多个隐含层以及一个标签层。除标签层用于预测结果输出外，其他任意相邻两层均构成一个RBM，因此DBN可视为多个RBM的堆叠再外加一个标签层。图4.18展示了DBN网络结构，图中的VL、HLi（i=1，2，…，M）以及LA分别表示可见层、隐含层和标签层。其中可见层VL是HOME特征的数据接口，该层神经元数目设置为HOME特征维数。各隐含层神经元数目统一设置为HOME特征的本征维数。该维数采用最大似然估计（maximum likelihood estimator，MLE）［127］获得，以得到尽可能紧凑的高层抽象特征，确保贪婪算法对DBN网络进行训练的有效性［128］。隐含层数M的确定需要平衡考虑，较多的层数可以更好抽象输入特征并改善分类性能，但过多的层数则会极大增加计算消耗并降低分类器泛化性能。标签层直接使用逻辑回归分类器，因为分类数为2，该层神经元数设置为2。

令X=［x1，x2，…，xk，xK］表示训练样本矩阵，其中xk代表一个训练样本，K为训练样本个数。令Y=［y1，y2，…，yk，yK］为训练样本的标签，其中为一个训练样本的标签矢量。当yk为（1，0）时，表示xk为人体对象；当yk为（0，1）时，表示xk为非人体对象。通过训练，DBN学习到从X到Y的映射函数。基于该映射函数，未知样本可以被预测为人体或非人体。

DBN训练过程包括预训练及微调两个阶段。在预训练阶段，CD算法连续确定相邻层网络参数；在微调阶段，反向传播算法结合标签信息微调预训练阶段获得的网络参数，实现训练样本最小化分类误差，最终确定各层网络参数。