基于NSCT的热红外与可见光图像融合方法

本节以NSCT为例，探讨一种实现可见光图像和热红外图像融合的多尺度分析融合方法［48］。该方法的工作流程如下。

（1）对可见光图像A和红外图像B进行NSCT变换，得到对应子带分解系数和其中，LA表示可见光图像的低频子带系数，Hj，k代表第j尺度高频子带中第k个方向的子带系数。类似地，LB和分别代表热红外图像的相应子带分解系数。

（2）选用自适应融合规则，对低频子带系数和各带通方向子带系数分别融合，得到融合图像对应的NSCT低频子带系数和各带通方向子带系数。

（3）对步骤（2）所得的NSCT系数进行NSCT逆变换，输出融合图像。

为使低频子带融合充分整合多源图像互补信息，并突显热红外图像中的前景目标，在步骤（2）中，对低频子带采用加权平均规则融合，即

其中，ω为权重系数，并由下述S函数确定：

其中，μIR为热红外图像的平均灰度值，α为一给定常数，IR（i，j）为热红外图像（i，j）像素点的灰度，x（i，j）为热红外图像中各像素灰度与平均灰度的相对偏差。

为确定各带通子带融合规则，定义区域关联函数：

其中，var（i，j）表示像素点（i，j）为中心的n×n邻域内方向子带系数的方差。它间接度量局部区域内图像高频细节信息的含量，因为通常情况下，源图像中清晰度越高的区域对应方向子带的灰度方差值越大。由此可定义如下融合规则：(www.xing528.com)

其中，

对规则的考量在于，当corrAB（i，j）≥T（T为设定的阈值）时，在该局部邻域内，两类图像包含的高频成分具有可比性，宜采用加权规则融合；反之，当corrAB（i，j）≤T时，两类图像在该方向子带上对应的高频成分相差悬殊，应选择具有较大方差的子带系数作为融合方向子带系数。

图2.19展示了本节方法及其他几种对比方法的融合效果。图2.19（a）和（b）为一组已严格配准的可见光图像和热红外源图像。图2.19（c）～（f）分别为PCA、Laplace、DWT及本节方法的融合结果。可见本节方法在NSCT域内对源图像进行了多尺度、多方向分析，并采用自适应加权的融合规则，相较对比算法，本节方法融合图像细节更丰富，对比度更高，体现出更好的融合性能。

图2.19　热红外图像和可见光图像的融合示例［48］

【注释】

[1]int为四舍五入取整运算。