图像融合指通过一种特定算法将两幅或多幅图像合成为一幅新图像。利用多源图像传感器在同一时间或不同时间获取的同一场景图像间信息的冗余性和互补性，图像融合通过对多来源图像信息加以综合，可以弥补单一图像传感器在几何、光谱、空间分辨率方面存在的局限性和差异性，获得对场景更为准确和全面的描述，同时扩大系统工作范围并改善可靠性。如图2.13所示，可见光图像和热红外图像融合后的图像兼有了两类图像信息，有利于对信息的进一步处理。
图2.13 图像融合实例［45］
（a）（d）可见光图像；（b）（e）热红外图像；（c）（f）融合图像
1）图像融合的层次
按照信息表征层次由低到高，图像融合的层次包括像素级融合、特征级融合以及决策级融合。囊括这三种层次的图像融合系统的一般框架如图2.14所示。
像素级融合是图像融合的最低层次。该层次直接对各幅源图像的像素进行融合，以尽可能多地保留场景信息，有利于目标观测和图像特征提取。像素级图像融合需要源图像之间较为严格的图像配准，且配准精度一般应达到像素级。由于涉及对两幅或多幅图像全部像素的处理，处理数据量往往很大，计算负载比较重。
图2.14 图像融合系统的一般框架［46］
特征级融合是图像融合的中间层次。该层次综合从两幅或多幅源图像中提取特征信息，例如边缘、形状、纹理、角度等。特征级融合在实现信息压缩的同时保留了图像的重要信息。这样不仅有利于实时处理，而且由于所提取的特征信息为分析决策提供直接依据，所以能够直接改善系统决策性能。目前实现特征级融合的方法主要包括概率统计方法、逻辑推理方法、神经网络方法、基于特征抽取的融合方法和基于搜索的融合方法等五大类。
决策级融合是图像融合的最高层次。它将从各源图像获取的子决策按一定的规则联合判决，得到全局最优决策，作为系统控制的直接依据。决策级图像融合具有良好的实时性和容错能力，但是预处理代价较高，信息损失较多。
2）像素级图像融合的质量评价
像素级图像融合质量的评价包括主观评价和客观评价。主观评价是根据人的主观感觉对融合图像的质量优劣进行评判。判断的基本标准是融合图像保留来自源图像的所有有用信息，同时不引入对后续处理造成干扰的伪轮廓或其他虚假信息。主观评价简单易行，但评定结果很大程度取决于观察者的心理状态、经验和喜好等主观因素，具有较大主观性和片面性。
客观评价对融合质量做定量分析，方法是利用某种数学评价指标模拟人对融合图像的视觉感知，以反映出图像包含的重要可视信息和图像信息从源图像转移到融合图像的程度。客观评价降低了主观因素对融合质量评价的影响，但注意评价结果应与主观评价结果相一致。
令A、B代表源图像，F为融合图像，图像尺寸均为M×N，图像灰度级数为L。在众多客观评价指标中，常用的指标有以下几个。
（1）信息熵（entropy）。信息熵是客观评价中最常用的评价指标，表示图像的平均信息量。定义为
其中，pi为融合图像F中灰度i的分布概率，L为灰度级总数。融合图像的信息熵越大，包含的信息越丰富，融合质量越好。
（2）平均梯度（average gradient，AG）。平均梯度反映图像的清晰程度。定义为
(www.xing528.com)
AG值越大，表明图像的相对清晰度越高，融合质量越好。
（3）空间频率（spatial frequency，SF）。空间频率反映图像在空间域的总体活跃程度，定义为
其中，RF、CF分别为行空间频率和列空间频率。
SF值越大，融合图像质量越好。
（4）联合熵（joint entropy，JE）。融合图像F与源图像A、B的联合熵定义为其中，p（i，j，l）为三幅图像的联合概率分布。JE反映了几幅图像之间的联合信息，指标值越大表示融合效果越好。
（5）交叉熵（cross entropy，CEN）。交叉熵测定两幅图像灰度分布的信息差异。融合图像F与原图像A的交叉熵定义为
其中，pi、qi分别为融合图像F与原图像A的灰度概率分布。进一步结合融合图像F与原图像B的交叉熵，可定义总体交叉熵为
总体交叉熵值越小，图像间差异越小，融合质量越好。
（6）互信息（mutual information，MI）。互信息指融合图像包含源图像的信息量多少。融合图像F与原图像A、B的MI定义为
其中，
互信息值越大，融合图像从源图像获得的信息越丰富，融合效果越好。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
