响尾蛇双模式生物机理及应用概述

响尾蛇视顶盖（optic tectum）是感觉器官的信息集成中心，它除了接收视网膜发射的信息，也接收来自体觉和声音的信息。1981年E.A.Newman和P.H.Hartline通过特征交叉（cross-modality interactions）方法揭示了响尾蛇视顶盖双模式细胞的生理作用，能够同时接收来自可见光和红外图像的信息输入，并且红外图像能够自动同可见光图像配准。响尾蛇的视顶盖将来自凹陷器官的红外脉冲（IR impulses）和来自眼睛的视觉脉冲（visual impulses）进行综合，这给响尾蛇提供了一种图像系统，使得响尾蛇可以比较可见光和红外光图像。在可见光和红外光图像映像系统中，凹陷器官、三叉神经系统（trigeminal nerve system，TNS）、LTTD（lateral descending of the trigeminal tract）、RC（nucleus reticularis colaris）和视顶盖之间的连接关系类似。红外光和可见光图像映射都在视顶盖表面生成，且红外图像能够自动同可见光图像配准，响尾蛇的光眼和热眼的双模接收与信息融合如图7.3所示。

图7.2　ON型感受野和OFF型感受野的模型

图7.3　响尾蛇的光眼和热眼的双模接收与信息融合

由于双模式细胞的协同作用，可见光和红外图像共同构成了响尾蛇对外界环境的感知，包括两者之间的与、或、抑制、增强的6种协同关系。

（1）或（OR）细胞：对可见光或者红外光中的任何一种刺激产生响应，对两种信号刺激同时存在的情况也产生响应。

（2）红外增强可见（IR enhanced visual）细胞：仅对可见光刺激（主刺激）产生响应，单独的红外信号（次刺激）不起作用，一旦在可见光信号刺激的同时存在红外信号刺激，细胞响应将明显增强。

（3）可见增强红外（visual enhanced IR）细胞：仅对红外信号（主刺激）刺激产生响应，单独的可见光刺激（次刺激）不起作用，一旦在红外信号刺激的同时存在可见光信号，细胞响应将明显增强。

（4）与（AND）细胞：对单独的可见光和红外信号刺激仅具有非常微弱的响应，只有两种信号刺激同时存在，细胞响应才能显著增强。

（5）红外抑制可见（IR depressed visual）细胞：仅对可见光刺激（主刺激）产生响应，单独的红外信号（次刺激）不起作用，一旦在可见光信号刺激的同时存在红外信号刺激，细胞将受到抑制，响应将明显减弱。

（6）可见抑制红外（visual depressed IR）细胞：仅对红外信号刺激（主刺激）产生响应，单独的可见光刺激（次刺激）不起作用，一旦在红外信号刺激的同时存在可见光信号刺激，细胞将受到抑制，响应将明显减弱。

6种双模式细胞发挥着不同的作用，相互协作共同构成了响尾蛇视觉系统中可见光与红外双波段融合处理机制。响尾蛇视觉系统中双波段融合处理过程中具有一些特有的功能。(www.xing528.com)

（1）可见光和红外光成像系统可相互独立运行。

（2）两者都可以独立指导进行捕食，即可以在两者间随意切换。

（3）红外系统通常用于捕食过程中目标的扫描和定位，完全消除可见光信息，捕食成功率将会降低。

借鉴这些功能机理，可发展适合实际应用的可见光与红外图像融合的新理论与新方法体系。针对不同的目标与环境（季节、气候、时相、距离、背景等）条件，利用响尾蛇视顶盖双模式细胞对可见光与红外图像的6种处理模式，分别采用不同的图像融合策略，改变传统的图像融合法。

美国麻省理工学院林肯实验室的Waxman小组利用对抗受域（仿响尾蛇双模式细胞工作机理）提出了可见图像和红外图像的对抗融合技术，他提出的可见与红外融合模型如图7.4所示。

该模型采用经典感受野的概念在相互独立的可见波段和红外波段分别进行空域增强处理，从而产生ON-IR（红外增强）和OFF-IR（红外抑制）图像，这些独立彩色图像与增强后的可见图像一起成为融合彩色图像的3个输入分量。

图7.4　可见图像和红外图像的对抗融合模型图

视网膜经典感受野的神经动力学模型的中心点（i，j）通过以下公式来表达：

Waxman小组通过分别对输入的可见和红外图像进行增强和抑制处理，可见图像馈入中心-环绕响应（center-surround）对抗神经元的激活中心细胞，红外图像馈入对应神经元的抑制环绕细胞，从而产生ON-IR和OFF-IR信号，这两个信号不仅用来模拟视觉系统中的光谱对抗细胞，产生颜色对比度图像，而且分别用以模拟响尾蛇的红外抑制可见细胞响应和红外增强可见细胞响应。映射单独增强的可见图像到绿色通道，可见抑制红外图像到蓝色通道，可见增强红外图像到红色通道，将RGB通道转换为HSL通道，对融合结果进行色调、饱和度等调整，以获得更佳的视觉显示，最终又转到RGB通道，实现彩色图像的重建和增强。