热红外图像人体目标检测测试结果分析

在配置Intel Core Duo 1.66 GHz CPU，2G RAM，安装Windows操作系统的计算机上对3.5.3节中方法（简称PRO）进行测试。测试序列图像共3段，其中序列1和序列2与3.3.4节相同，均具有相对静止的背景。序列3是由FLIR红外热像仪在某校园路口拍摄获得，且拍摄时它在水平面内按约4.5（°）/s的角速度转动。在此序列中，人体目标从左上角进入视场，在道路上前行一段时间后从右下侧离开视场。图3.29显示了上述测试序列的首帧图像，其上叠加的箭头指示了人体目标的运动方向。各序列图像的分割难度不同，序列1中人体灰度均匀且与背景对比度较高，分割难度较低；序列2对比度低，人体灰度不均匀且边缘模糊，分割难度较序列1明显加大；序列3中目标灰度非常不均匀且边缘同样模糊，对比度低，噪声强烈，还存在较快的背景变化，分割难度最大。

图3.29　测试序列的首帧图像

除非特别指明，PRO参数为n=2，β=6，Δτ=5，ρ=10-6。由于各序列对比度和噪声强度方面存在差异，对序列1和序列2设置ξ=1，对序列3设置ξ=0.85。数值算法中使用的高斯滤波器Gσ的标准差σ=1，尺寸参数w=5，即其大小为5×5。为前（n+1）帧图像设置的初始LSF与3.3.4节相同，此外，使用序列首帧初始化所需参考背景。

除PRO算法外，还选择改进MOG方法（简记为IMOG方法）［93］、Lee的方法［94］以及Li的方法［97］进行了对比测试。其中，IMOG方法中所用高斯核数目为3。Lee的方法采用中值法初始化背景图像。此外，各对比算法参数可调节以尽可能获得好的结果。

图3.30～图3.32显示了以上方法在各测试序列图像上的分割结果。以图3.30为例，第一行为四幅代表帧，按从左到右的顺序，分别编号为S1，S2，S3和S4。各帧中运动人体及其运动方向分别由方框和箭头标示。中间四行分别为各方法获得的分割结果。其中黑色曲线表示各方法得到的目标轮廓。为便于验证，第六行给出了手工标识的真实人体轮廓。图3.31和图3.32的配置方式与图3.30完全相同。另外，测试中PRO按式（3.46）计算得到的双阈值见表3.5。

表3.5　测试中PRO方法用到的双阈值

图3.30中，由于人体进入视场后被树木遮挡，各方法所得人体区域都出现了破碎现象。这种问题IMOG方法最严重，其次是Lee的和Li的方法，最后是PRO方法。由于序列1对比度较好，目标灰度较均匀，当遮挡过程结束，IMOG方法以外的各方法均给出了较好的结果。

图3.31中，PRO方法误分的人体目标像素最少，所得人体区域比其他方法更接近真值。另外，PRO误分背景像素的误分数量也同样最少，例如S4中人体目标实际上已完全离开，理论上不应检测出前景像素，但各种方法中只有PRO方法符合该期望。

图3.30　PRO及对比方法在序列1上的分割结果

（第一行：从左到右依次为S1～S4的图像帧；第二行：IMOG方法分割结果；第三行：Lee的方法分割结果；第四行：Li的方法分割结果；第五行：PRO方法分割结果；第六行：真实人体区域）

图3.31　PRO及各对比方法在序列2上的分割结果

（第一行：从左到右依次为S1～S4的图像帧；第二行：IMOG方法分割结果；第三行：Lee的方法分割结果；第四行：Li的方法分割结果；第五行：PRO方法分割结果；第六行：真实人体区域）

图3.32　PRO及各对比方法在序列3上的分割结果

（第一行：从左到右依次为S1～S4的图像帧；第二行：IMOG方法分割结果；第三行：Lee的方法分割结果；第四行：Li的方法分割结果；第五行：PRO方法分割结果；第六行：真实人体区域）(www.xing528.com)

序列3相当具有挑战性。由图3.32可见，由于IMOG方法和Lee的方法基于背景不变的假设，所得结果完全无意义。PRO方法和Li的方法的表现则好得多，但两者相比较，PRO给出的结果质量更高，分割结果看起来更“干净”。

继续采用Jaccard相似系数和MAD指标对上述分割结果做客观评价。图3.33展示了各方法在三段测试序列图像上的Jaccard相似系数曲线，可见：①PRO方法获得的序列1～3各帧的评价值的均值分别约为0.8、0.75和0.7，考虑测试序列图像的分割难度，可以认为PRO给出的结果是足够好的；②对应PRO方法的曲线波动范围比对比方法更小，这表明它能更好地处理序列中的时域变化；③无论是对在相机固定还是在运动情况下采集的序列图像，PRO方法获得的评价值在各方法中都是最大的（或接近最大的），表明它能有效应对背景较快变化的情况。

图3.33　PRO及其对比方法在测试序列图像上的Jaccard相似度曲线图

PRO方法的优势来源于如下方面：①运动检测模块所用背景模型能够较快捕捉序列中的时域变化及相机运动。因为背景更新为最近几帧的加权平均，这样所得结果和当前帧的最邻近帧接近，使得背景相减的效果类似于帧差，而后者对时域变化和相机运动有较好处理能力；②通过合理设置门限值，静态检测模块可以输出相对完整的人体区域（当然其中也包含大量噪声和虚假前景目标），从而即使在运动检测结果中人体目标相当破碎的情况下，通过融合也会得到相对完整的人体区域；③融合模块一方面可以去除噪声等虚假前景，另一方面可使人体碎片连通为更完整的区域，提升LSAC模块输出结果的质量。IMOG方法和Lee的方法基于背景不变的假设，当不满足该假设时，性能会严重退化。Li的方法结合了帧差技术，对背景较快变化的序列效果较好，但它将曲线演化限定在由帧差获得的前景区域附近，又未能事先很好地抑制这些区域的噪声，最终导致较多虚假前景。

图3.34显示了上述方法在三段测试序列上所得结果的MAD评价曲线（由于IMOG方法和Lee的方法在序列3上完全失败，相应曲线未给出）。可见PRO方法在序列1和序列2上获得的MAD评价值相对更小，表明PRO方法所得目标轮廓与真实目标轮廓更接近。在序列3上，Li的方法所得MAD值看起来比PRO方法所得MAD值更优，不过此优势在实际系统中很可能被减弱或抵消，原因是它对背景的严重误分使所提取的目标轮廓可能属于干扰目标。综合可见，PRO方法可以给出较对比方法更接近真实值的人体轮廓。首要原因是它使用的LSAC模块可以输出封闭的光滑的活动轮廓曲线，其次它使用的融合模块在提高人体区域完整性的同时未造成曲线光滑性损失。

图3.34　PRO及其对比方法在测试序列图像上的MAD曲线图

表3.6给出了除IMOG方法以外的各方法在测试序列上的平均耗时，因为IMOG运行过于缓慢，所用时间远远超过其他方法。该表反映了PRO方法在效率方面的优势。该优势来源于以下两点。

（1）基于BLSF的快速数值算法收敛快。其中最耗时的操作是高斯卷积，计算复杂度为O（w2×T），其中w×w为高斯卷积核的大小，T为图像在其定义域上的像素总数，而在经典数值算法下，重初始化LSF的复杂度为O（T2），由于w2≪T，故计算效率显著提高。此外，为保证演化的稳定性，经典数值算法求解PDE所用的时间步长易受限制，收敛速度慢。而该快速算法中对ODE求解则无此限制，迭代步长可以更易实现快速收敛。

（2）优化的算法流程极大地节约了计算消耗。运动检测模块中，当前帧的初始LSF被设置为能量泛函在前一帧上的解。而该LSF收敛后，它又作为静态检测模块的初始LSF，这样该模块的LSF初始值和收敛值就比较接近，使得所需迭代次数减少。此外，运动检测模块在分割一帧时，虽然要用到（n+1）个LSF，但实际只需计算其中一个LSF。

表3.6　PRO方法、Lee的方法和Li的方法在测试序列图像上的平均耗时

为考察数值算法中高斯滤波器对PRO性能的影响，为高斯滤波器配置不同的w、σ参数值，然后计算PRO模型在测试序列上的平均耗时，结果列于表3.7。由该表可见，随着w的增大，时间消耗随之增大，因此较小的w值对算法效率有益。另外，又因为σ不应大于w的1/4，而从算法稳定性考虑又不宜过小（BLSF在1和-1间相邻位置不可导，需要高斯滤波加以抑制），因而高斯滤波器的σ在［0.7，1.6］中取值、尺寸参数w在［3，7］中取值较为合适。

表3.7　高斯滤波器不同参数值下PRO方法在测试序列图像上的平均耗时

在移动人体目标检测系统中，热红外序列图像的背景特征与系统平台的运动密切相关，由此造成这类序列图像中人体目标的分割难度比背景静止序列图像更大。本节基于运动检测和静态检测相融合的分割方法较好地解决了这类序列图像的分割问题。由于不假设背景状态，本节方法对背景相对静止以及较快变化的序列图像均适用，适用范围更广。并且通过对两类检测结果的融合生成最后分割结果，本节方法很自然地实现了对噪声的抑制，以及获得完整性比单纯静态检测或运动检测更高的人体区域，从而保证了分割精度。另外，基于快速数值算法以及完整算法流程优化两方面措施，本节方法获得了较高的运行效率。