人工神经网络的发展历程

长期以来，人们就致力于研究用机器来代替或协助人进行智能劳动。人的智力中心就是人脑。现代生命科学的研究表明：人的意识、思维、认识活动与人脑神经系统有着密切的关系，因此人们就开始了人工神经网络的研究。

最早的人工神经网络研究可以追溯到20世纪40年代。1943年，心理学家麦克洛奇（W.McCulloch）和数理逻辑学家皮兹（W.Pitts）在分析、总结神经元基本特性的基础上，首先提出了神经元的数学模型。这个模型，现在一般称为M-P神经网络模型，至今仍在应用。在提出这一模型时，W.Pitts是一位年轻的博士生。他们提出的模型很简单，没有受到整个科学界的重视。但这一模型，由于有神经元之间的丰富联系和并行计算的潜力，因此有着巨大的生命力。可以说，人工神经网络的研究时代，就由此开始了。

1949年心理学家赫布（Hebb）提出神经系统的学习规则，为神经网络的学习算法奠定了基础。他指出，学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。现在，这个规则称为赫布规则，许多人工神经网络的学习规则还遵循这一规则。

1957年，罗森勃拉特（F.Rosenblatt）提出“感知器”（perceptron）模型。第一次把神经网络研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。“感知器”是一种多层神经网络，它由阈值神经元构成。整个模型有学习和自组织的功能。当时有数百个实验室在研究这类机器，因而形成了高潮。

20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。当时，微电子技术较落后，实现神经网络的元件是电子管或晶体管，体积大，价格昂贵。特别是在1969年，明斯基（Minsky）和佩泊特（Papert）发表了一本专著Perceptrons，指出“感知器”仅能解决一阶谓词逻辑，不能解决高阶谓词问题（例如异或“XOR”这样的问题）。这些论点使相当部分研究人员对人工神经网络的研究前景失去信心。于是从60年代末期起，人工神经网络的研究进入了低潮。

20世纪70年代末，人们发现人的自然智能是现有计算机无法比拟的。人可以毫不费力地识别各种复杂事物，能从记忆的大量信息中迅速找到需要的信息，人具有自适应、自学习、自组织等创新知识的能力，而现有的计算机则不能做到。于是，人们又重新将目标转向对神经网络的研究，试图从人脑神经系统的结构和工作机制的分析、研究中，提出解决复杂事物系统问题的新思想、新方法。与此同时，学术界对复杂系统的研究取得了许多进展。普里高京（Prigogine）提出耗散结构理论，获得诺贝尔奖。哈肯（Haken）创立了协同论（synergetics）。近年来又广泛研究了混沌（chaos）动力学和奇异吸引子理论，揭示了复杂系统行为。这些工作，都是研究复杂系统如何通过单元之间的相互作用而进化和发展的。相邻学科的研究成果，大大促进了人们对人工神经网络的研究。

1982年，美国加州工学院物理学家霍普菲尔德（Hopfield）提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。他引入李雅普诺夫（Lyapunov）函数（称为“计算能量函数”），给出了网络稳定判据。1984年，霍普菲尔德又提出了连续神经网络模型，其中神经元动态方程可以用运算放大器来实现，从而实现了神经网络的电子线路仿真。同时，该模型还可用于联想记忆和优化计算，开拓了计算机应用神经网络的新途径。霍普菲尔德的方法还解决了目前数字计算机不善于解决的问题，其中，最著名的实例就是TSP（travelling salesman problem）旅行商最优路径问题。

Hopfield的研究成果未能指出Minsky等人1959年论点的错误所在。要推动神经网络的研究，还须解除对“感知器”——多层网络算法的疑虑。1986年，鲁梅哈特（Rumelhart）和麦克雷伦德（Meclelland）提出多层网的“逆推”（或称“反传”，back propagation）学习算法，简称BP算法。该算法从后向前修正各层之间的连接权重，通过不断的学习和修正，可以使网络的学习误差达到最小。这一算法可以求解“感知器”所不能解决的问题，从实践上证实了人工神经网络具有很强的运算能力，否定了Minsky等人的结论。BP算法目前是最为重要的、应用最广的人工神经网络算法之一。

除了上述几位学者外，还有不少学者为神经网络的研究作出了杰出的贡献。

（1）1985年，Hinton与Sejnowsky提出玻尔兹曼（Boltzmann）机模型；(www.xing528.com)

（2）1986年，Rumelhart与McClelland提出PDP（parallel distributed processing）模型；

（3）1986年，Hecht-Nielsen提出对传（counter-propagation）模型；

（4）1988年，G.A.Carpenter与S.Grossberg提出的自适应谐振理论（ART）；

（5）1988年，T.Kohonen提出自组织与联想记忆（self-organization and associative memory）模型；

（6）1992年，Young Im Cho等提出神经-模糊推理系统模型（modeling of a neurofuzzy inference systems）；

（7）1994年，H.C.Andersen等提出单网间接学习结构（single net indirect learning architecture）模型。

在神经网络的硬件实现方面，学者们遇到许多困难，但还是取得不少进展。目前，人们主要是用硅半导体VLSI电路，CMOS工艺、数字和模拟混合系统来实现硬件系统。1990年1月，日本富士通公司研制成功每秒运算5亿次的神经计算机，美国IBM公司推出的神经网络工作站已进入市场，此外美国Bell实验室、加州理工学院、麻省理工学院以及日本筑波大学等单位都做了很多有关神经网络的制作研究工作。

自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮。1987年，在美国召开了第一届神经网络国际会议，并发起成立了国际神经网络学会（INNS）。为了推动神经网络的研究，出版了几种专门的学术刊物，著名的刊物有Neural Networks，Connection Science，IEEE Transactions on Neural Networks，Neural Computation等。

进入20世纪90年代后，神经网络的国际会议接连不断。1991年，国际神经网络学术会和IEEE联合年会在美国西雅图召开；1992年，国际神经网络学术会议（ICNN）在北京召开；1993年，国际神经网络学术会议在美国旧金山召开。1994年，首次将模糊系统、神经网络和进化计算三个方面的内容综合在一起，在美国奥兰多召开了'94 IEEE全球计算智能大会（WCCI），并决定大会每三年举行一次，在这期间各学会仍单独召开年会。1995年，ICNN会议在澳大利亚的Perth召开；1996年，ICNN会议在美国华盛顿召开。