人脑对多模态信息的认知特性

人类通过视觉、听觉、触觉等不同感官形成对事物的感知，实际上，人脑所处理的信息本身就具有“跨媒体特性”。1976年，英国的心理学家McGurk和MacDonald用实验验证了人类对外界信息的认知是通过不同的感觉器官(如听觉和视觉等)传递的信息，形成整体性的理解。同时，如果缺乏来自某个感官的信息，或者信息传递不准确，将会导致大脑对外界信息的理解产生偏差。实验过程如下:

首先，录制一段某个人正在说话的视频，其说话内容是重复简单的“ga，ga，ga”的音节；然后，对录制的视频进行处理，保留原来的画面，去除声音信息，同时，配上“ba，ba，ba”的声音；接着，将处理好的视频播放给实验者观看，结果，他们认为自己听到的声音是“da，da，da”或“ga，ga，ga”。这个实验说明了实验者明明听到了“ba”的声音，但是却受到了视频图像中说话人“ga”口形的欺骗，也就是说，人脑接收到的听觉信息会受到视觉信息的影响。这个现象被称为“McGurk效应”。

由上述实验可以看到，大脑在进行感知时，不同感官被无意识地、自动地结合到了一起进行处理。更为重要的是，神经系统科学的研究也揭示了，在大脑皮层的颞上沟和脑顶内沟等部位，不同感官信息的处理神经存在相互交融，人脑生理组织结构决定了，对外界的认知过程是通过跨越多种感官信息的融合处理。“McGurk效应”和神经系统科学领域的研究，分别从不同角度揭示了人脑认知的跨媒体特性。(www.xing528.com)

另外，从人工智能研究的角度来看，1976年，学者Newell和Simon提出了物理符号系统假设，认为物理符号系统是表现智能行为必要和充分的条件，任何信息加工系统可以看成一个具体的物理系统，如:人的神经系统、计算机的构造系统等；之后，以McCarthy和Nilsson等为代表，主张任何事物都可以用统一的逻辑框架来表示，即用形式化的方法描述客观世界；在20世纪70年代后期提出的知识系统，作为人工智能学科最重要的工业化和商业化产物，以辅助人们进行问题求解，如:产品质量的评价、辅助医疗诊断、金融决策支持等。

从上述发展过程可以归纳得到，传统的人工智能研究的目标是让机器模仿人，认为人脑的思维活动可以通过一些公式和规则来定义，希望通过把人类的思维方式翻译成程序语言输入机器，使机器有朝一日产生像人类一样的思维能力。然而，人脑得到的信息中可以符号化的只占很小一部分，85%以上是符号以外的形象数据，如:一幅花红柳绿的风景图、一段余音绕梁的音乐等。传统的人工智能研究面对多媒体的信息环境，不能自如地模拟人脑的智能活动。跨媒体思想对于人工智能研究的重要意义正体现在着眼于对“85%”以上的非符号信息的综合理解和有效利用，以使计算机可以更好地模拟人类感知。