人工神经网络的产生与发展

人工神经网络的发展经历了一个曲折艰苦的过程。1943 年，心理学家Warren Mc-Culloch和数理逻辑学家Walter Pitts 从信息处理的角度出发，采用数理模型的方法，对生物神经细胞的动作进行研究，提出了形式神经元模型，称为MP模型。MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能够执行逻辑功能，从而开创了人工神经网络研究的时代。1949 年，心理学家Donald Hebb 在《行为科学》（《The Organization of Behaviour》）一书中明确提出了突触联系强度可变假设，说明了神经元连接强度是可修正的，为人工神经网络的产生奠定了基础。1975 年Frank Rosenblatt首次引入感知器（Perceptron）的概念，试图模拟动物和人脑的感知和学习能力。感知器模型已经具备了神经网络的某些基本特征。1962 年，美国斯坦福大学教授Berhard Widrow提出了自适应线性神经元（Adaptive Linear Neuron），并与Marcian Hoff 提出了一个新的学习规则，称为Widrow-Hoff学习规则，此规则可减少训练过程中神经网络输出的误差平方和。由于种种原因，以后近20年里，人工神经网络的研究一度处于低潮。

直至1982 年，美国加州工学院物理学家Hohn Hopfield提出了Hopfield神经网络模型，引入了“能量函数”的概念，给出了网络稳定性的判据，并成功地解决了著名的“旅行商问题”，成为人工神经网络走向成熟的里程碑。1984 年，他又提出了连续时间Hopfield神经网络模型，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究。

1986 年，D.E.Rumelhart和J.L.McCelland 提出多层网络学习的误差反传播算法，实现了Minsky引入隐层的设想。与此同时，基于Von Neumann原理的数字计算机在处理形象思维、语音图像识别以及联想记忆等模糊信息时屡受挫折，而神经网络能够处理模糊信息的特点使人们认识到人工神经网络的重要价值。(www.xing528.com)

进入20世纪90年代，随着人工神经网络理论研究的不断成熟，神经网络的发展进入了一个新时期，应用研究也得到迅速发展。人工神经网络作为新学科、新方法和新技术，在自然科学和社会科学各个领域得到了广泛的应用，取得了丰硕的成果。神经网络研究也随之得到飞速发展，各种网络结构和算法系统应运而生，逐渐构成了较为完善的人工神经网络体系。同时，人工神经网络的学术交流日益频繁，形成了良好的学术氛围。

1987 年6 月电气和电子工程师协会（IEEE）在美国加州举行了第一届人工神经网络（ANN）国际会议，并成立了国际神经网络学会。此后，每年召开两次国际联合神经网络大会（IJCNN）。我国于1990年12月在北京召开了第一次中国神经网络学术大会，规定每年召开一次，并于1991 年成立了中国神经网络学会。