神经网络联结主义的创新发展

联结主义是一种从人脑的生理结构出发来研究人的智能行为、模拟人脑信息处理功能的方法，主要代表人物是美国科学家麦卡洛克（Warren S.McCulloch）、皮茨（Walter Pitts）、罗森布拉特（Frank Rosenblatt）、霍普菲尔德（John Hopfield）等。他们从仿生学观点出发，以神经系统的结构和功能为重点进行数学模拟和物理模拟，形成了从神经细胞模型到感知机再到人工神经网络的发展路径。

神经细胞模型就是从脑的生物原型出发来探讨人工智能。人们一般把1943年MP模型的诞生作为联结主义研究的开始年份。此后，经过人们对MP模型的不断改进，以及对各种“脑模型”的研究，科学家制造了很多模拟大脑的既能运算又能处理逻辑问题的人工神经网络系统，在20世纪50年代末和60年代初形成了一次基于神经网络联结主义的小高潮。其中，影响最大的是1957年美国认知心理学家罗森布拉特研制成功的具有视角感知和学习功能的脑模型“感知机”（Perceptron）。感知机能进行简单的文字识别、图像识别和声音识别，在60年代初期风行一时，有多达百家研究机构和公司从事感知机的研发工作。1961年，德国学者斯泰布什（Karl Steinbuch）从宏观仿生学观点提出“学习矩阵”。1969年，明斯基等人出版了关于感知机的专著。由于感知机无法识别线性不可分的模式，70年代感知机的研究陷入低谷。

20世纪80年代初期，人工神经网络研究取得较大进展。1981年，英国计算机学家、加拿大多伦多大学教授欣顿（Geoffrey Hinton）和美国布朗大学教授安德森（James Anderson）发表了《联想记忆的并行模型》一文，掀起了人工神经网络研究的第一次热潮。1982年，霍普菲尔德提出一种叫“Hofield”的新的全互连型人工神经网络，成功解决了计算复杂的“旅行商”的问题。1986年，美国科学家鲁姆哈特（David Rumelhart）和麦克莱兰（James McClelland）出版了《平行分布加工：认知结构的微观探索》一书，提出了多层前馈网络的误差反传算法模型，奠定了联结主义网络模型研究的基础，标志着基于神经网络的联结主义再次走进AI研究的舞台。1986年，鲁姆哈特、维伯斯（Paul Werbos）等研制出被称为“反向传播”神经网络的新一代多层次感知机，简称BP网络。同年，格罗斯伯格（Stephen Grossberg）、卡彭特（Rollo Carpenter）提出自适应共振理论ART，所研制出的ART神经网络具有良好的自适应特性。1987年，首届国际神经网络学术大会在美国圣迭戈举行，并成立了“国际神经网络协会”，掀起了神经网络研究的第二次高潮。有意思的是，此时正值一直处于主导地位基于逻辑推理的符号主义的AI研究路径坠入低谷的转折点。(www.xing528.com)

进入20世纪90年代，以BP为代表的浅层学习算法模型取得了长足的进展。90年代初，美国生物学家埃德尔曼（Gerald Edelman）提出了Darwinims模型，建立了神经网络系统理论。日本科学家相原（Kazuyuki Aihara）等人提出了混沌神经元模型，井上（Hirotaka Inoue）构造出混沌神经网络模型。1995年，俄罗斯统计学家瓦皮尼科（Vladimir Vapnik）和丹麦计算机科学家科尔特斯（Corinna Cortes）提出支持向量机算法（Support Vector Machines，SVM）。1997年，IBM公司的超级计算机“深蓝”（Deep Blue）战胜国际象棋世界冠军卡斯帕罗夫（Garry Kasparov），震惊世界。进入21世纪以来，联结主义最大成就是深度学习算法的出现。2006年，“神经网络之父”欣顿（Geoffrey Hinton）提出神经网络深度学习（Deep Learning）算法，提高了人工智能海量数据信息源中提取、识别的能力，给图像、视频、语音和音频的处理带来了突破，其最大成就莫过于AlphaGo程序战胜了围棋世界冠军李世石。2009年，微软亚洲研究院成功研发出基于深度神经网络的开发的商用全自动同声传译系统。目前，联结主义模型的研究已成为世界各国关注的热点问题。