基于响尾蛇双模式生物机理的掌纹掌脉融合技术是一种基于生物学的方法，同时结合了经典感受野的相关原理，符合人类的视觉认知机理。作为一种信息融合技术，从信息论的角度对它进行融合效果的参数评测，主要使用的评测参数为信息熵和互信息量。
信息论中的信息熵用来衡量一个随机变量出现的期望值，它用来衡量信息被接受之前在信号传输过程中损失的信息量，融合后的图像信息熵反映了融合图像所包含的平均信息量的多少，熵值越大表明融合效果越好，熵值越小则表明融合效果越差。图像的信息熵定义为：
上式中，H为图像的信息熵，L为图像的最大灰度等级，Pi表示灰度值为i的像素点个数与图像总像素个数的比值。
互信息量是信息论中另外一种信息度量，它用来表示两个事件集合之间的相关性，互信息量越大表明融合之后的图像从原始图像中保留的信息越多，即融合效果较好，反之则说明融合效果不够理想。互信息量定义为：
MI（A，B）=H（A）+ H（B）-H（A，B）
目前图像融合领域中效果较高也较为常用的融合方法是基于小波的图像融合方法，小波图像融合方法实际上是通过频域变换实现图像的信息融合。为了不失一般性，将我们所提出的基于响尾蛇双模式生物机理的图像融合方法进行信息论角度的参数比较和评价。为了简单起见，这里采用的小波融合方法为经典的离散小波变化（discrete wavelet transform，DWT），即Mallat小波。此处简要介绍一下小波图像融合的基本流程：首先对原始的掌纹掌脉图像分别进行小波变换得到每一层的小波系数；对分解后的小波系数进行对应的融合处理，对掌纹图像和掌脉图像的低频小波部分进行参数加权，权值由所采集的掌纹掌脉图像包含的信息来经验取值，本文实验中掌纹图像的权值取0.6，掌脉图像的权值0.4。由于另外3个高频部分反映的是掌纹和掌脉的纹线细节特征，因此直接取两者中绝对值较大的小波系数；最终对融合处理之后的小波系数进行DWT反变换即可得到掌纹掌脉融合图像。
从信息论的角度，对响尾蛇双模式生物机理融合与小波融合方法进行性能评价，即考虑用熵和互信息量两个标准来评价融合效果，对于一组示例待融合的掌纹掌脉图像，若采用某种融合方法产生的融合图像的熵值越大、互信息量越大则表明其融合效果越好。
我们以自行设计的掌纹掌脉融合采集仪为采集设备，以实验室的同学和教员为采集对象，共采集了40名用户，每个用户采集相同时间相同位置的掌纹掌脉图像各5张，建立一个400幅图像的小规模掌纹掌脉数据库。在此掌纹掌脉数据库上分别计算3种融合方式（掌纹增强掌脉，掌脉增强掌纹，DWT）下的熵值以及融合图像与原始图像互信息量，计算其平均值，统计得到图像融合方式的评价对比如表7.1所示。
表7.1 图像融合方式的评价对比
由表7.1分析可知，基于响尾蛇双模式生物机理的融合方式的熵值和互信息量要比小波融合方式的要大一些，即从信息论角度来说，基于响尾蛇双模式生物机理的融合方式要优于小波融合方式。
仅从信息论的角度评价图像融合算法是不够的，还需要与其他几种常见融合方法进行识别率等关键性能参数的对比。根据信息融合层次不同，可以把多模态生物特征融合方法分为传感器数据层融合、特征层融合、决策层融合。基于响尾蛇双模式生物机理和小波的图像融合方式都属于初级的图像像素层融合，即属于传感器数据层融合。特征层图像融合的常见方法为将待融合的两幅图像对进行降维处理，得到两个特征向量，然后将两个特征向量连接到一起形成一个新的特征向量，对此新特征向量进行子空间降维，例如PCA、ICA、LPP等，最后设计分类器进行匹配判别。决策层图像融合方法通过对两幅图像各自独立进行相应的特征提取和特征匹配后得到匹配分数，在最终的决策层通过统计分析确定出决策准则和加权值，对两个匹配分数进行加权后得到最终匹配分数从而进行判别，常见的决策准则有基于Bayes融合、基于N-P准则的决策融合机制。
为了便于比较，采用相同的预处理步骤，使用张大鹏教授的基于矩形块的方法提取出掌纹掌脉图像对的ROI，示例掌纹掌脉图像ROI如图7.9（a）、图7.9（b）所示。特征提取算法统一采取定序测量算法，它是一种基于纹理编码的特征提取算法，主要采用OLOF滤波器对掌纹图像进行滤波和编码，对两个垂直方向的纹线区域进行排序测量并且进行相应的编码。对两幅待匹配图像进行排序编码，计算出两者编码之间的Hamming距离，并根据归一化之后的距离进行判别分类。
图7.9 掌纹掌脉图像排序编码
OLOF滤波器的实现如下所示：(www.xing528.com)
OF（θ）= f（x，y，θ）-f（x，y，θ+π/2）
式中，θ表示二维高斯滤波器的方向，参数δx和δy分别为滤波器在水平方向和竖直方向的尺度特征，在具体实验中分别选取为6.7和1.5。
对ROI图像进行3种尺度滤波处理，即OF（0）、OF（π/6）和OF（π/3），得到的滤波器响应为3个定序测量编码，最终得到的掌纹掌脉图像排序编码如图7.9所示。
在已建立的小规模掌纹掌脉图像数据库中应用上述定序测量匹配判别算法，每幅掌纹（掌脉）图像都与其余的199幅掌纹（掌脉）图像进行匹配判别，掌纹图像和掌脉图像分别进行200×199=39800次判别，将误判和误识都统一视为识别错误，从而得到对应的单独掌纹识别率和单独掌脉识别率。
识别率计算公式为：
Recog=1-（NFA-NFR）/39800
式中Recog为识别率，NFA为错误接受的个数，NFR为错误拒绝的个数。
如7.3.4节所述，利用响尾蛇双模态生物机理对掌纹掌脉图像对进行图像融合，得到200幅掌纹增强掌脉图像和200幅掌脉增强掌纹图像，然后将每幅融合图像与其余的199幅融合图像进行排序编码的匹配判别，从而得到对应的像素层融合识别率。
（1）特征层融合的具体实现：直接将掌纹排序编码和掌脉排序编码进行向量连接，形成一个高维向量，然后使用PCA进行降维处理，对降维后的向量进行归一化的Hamming距离匹配判别。每个掌纹掌脉图像对与其余的199个掌纹掌脉图像对进行上述匹配判别，从而得到对应的特征层融合识别率。
（2）决策层融合的具体实现：将掌纹匹配分数和掌脉匹配分数进行加权和，权值通过对训练样本进行Bayes判据统计得到，通过对加权之后的匹配分数进行判别分类。同样，每个掌纹掌脉图像对与其余的199个掌纹掌脉图像对进行匹配判别，得到对应的决策层融合识别率。
将上述几种识别方式得到的识别率比较如表7.2所示。
表7.2 不同识别方式的识别率对比
表7.2可以看出，掌脉增强掌纹融合识别方式的识别率最高。应用响尾蛇双模态生物机理的图像融合方式效果较为明显，而特征层融合和决策层融合与融合之前相比识别率提高不大。
响尾蛇双模式生物机理的掌纹掌脉融合技术是基于经典感受野的一种视觉认知技术，从数学角度而言它利用的是双高斯模型的运算思想，因此可能会导致图像细节丢失。响尾蛇双模式细胞的协同关系包括两者之间的与、或、抑制和增强，本章仅对两者之间的抑制和增强进行了研究和探讨，尚且未对与和或这两种协同关系进行研究。
本章的掌纹掌脉融合技术仅应用了经典感受野思想，以后考虑进一步研究经典感受野的大外周即整合野区域，深入研究三高斯模型和颜色恒长性等相关认知方法，以期望提高掌纹掌脉图像融合效果。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
