人工神经网络概述：虚拟现实与人工智能应用技术研究

深度学习应大数据而生，是机器学习、神经网络研究中的一个新的领域，其核心思想在于模拟人脑的层级抽象结构，通过无监督的方式分析大规模数据，发掘大数据中蕴藏的有价值信息。

神经网络（Neural Networks，NN），也称作人工神经网络（Artificial Neural Networks，ANN），或神经计算（Neural Computing，NC），是对人脑或生物神经网络的抽象和建模，具有从环境学习的能力，以类似生物的交互方式适应环境。神经网络是智能科学和计算智能的重要部分，以脑科学和认知神经科学的研究成果为基础，拓展智能信息处理的方法，为解决复杂问题和自动控制提供有效的途径。

现代神经网络开始于麦克洛奇（McCulloch WS）和皮兹（Pitts W）的先驱工作。麦克洛奇是神经学家和解剖学家。他用20年的时间考虑神经系统对事件的表示问题。皮兹是数学天才，于1942年开始神经计算的研究。1943年，麦克洛奇和皮兹结合了神经生理学和数理逻辑的研究，提出了M-P神经网络模型。他们的神经元模型假定遵循一种所谓“有或无（AllorNone）”规则。如果如此简单的神经元数目足够多，通过适当设置连接权值并且同步操作，麦克洛奇和皮兹证明这样构成的网络原则上可以计算任何可计算的函数。这是一个有重大意义的结果，有了它标志着神经网络的诞生。

1949年，赫布（D.O.Hebb）出版的《行为组织学》第一次清楚说明了突触修正的生理学习规则。特别是赫布提出大脑的连接随着生物学会不同功能任务而连续地变化，神经组织就由这种变化创建起来。赫布继承了拉莫尼（Ramony）和卡贾尔（Cajal）早期的假设并引入自己的学习假说：两个神经元之间的可变突触被突触两端神经元的重复激活加强。

1982年，霍普菲尔德（Hopfield J）用能量函数的思想形成一种了解具有对称连接的递归网络所执行计算的新方法。这类具有反馈的特殊神经网络在20世纪80年代引起大量的关注，产生了著名的Hopfield网络。尽管Hopfield网络不可能是真正的神经生物系统模型，然而它们包含的原理，即在动态的稳定网络中存储信息的原理极其深刻。

20世纪80年代格罗斯伯格（Grossberg）基于他的竞争学习理论的早期工作，建立了一个新的自组织原则，即著名的自适应共振理论。概括来讲，这个理论包括一个由底向上的识别层和一个由顶向下的产生层。如果输入形式和已学习的反馈形式匹配，一个叫作“自适应共振”的不定状态（即神经活动的放大和延长）产生了。(www.xing528.com)

1986年鲁梅尔哈特（Rumelhart D E）、欣顿（Hinton G E）和威廉姆斯（Williams R J）报告了反向传播算法的发展。同一年，著名的鲁梅尔哈特和麦克莱伦德（McClelland J L）编辑的《并行分布处理：认知微结构的探索（PDP）》一书出版。这本书对反向传播算法的应用产生重大影响，成为最通用的多层感知器的训练算法。事实上，反向传播学习在1974年8月Harvard大学的韦勃斯（Werbos PJ）的博士学位论文中已经描述了。

1990年，汉森（Hansen LK）和萨拉蒙（Salamon P）提出了神经网络集成（Neural Network Ensemble）方法。他们证明，可以简单地通过训练多个神经网络并将其结果进行拟合，从而显著地提高神经网络系统的泛化能力。神经网络集成可以定义为用有限个神经网络对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定。在PAC学习理论下，如果存在一个多项式级算法来学习一组概念，并且学习正确率很高，那么这组概念是强可学习的；而如果算法学习一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习的。如果两者等价，那么在机器学习中，我们只要找到一个比随机猜测略好的弱学习算法，就可以将其提升为强学习算法，而不必直接去找通常情况下很难获得的强学习算法。沙皮尔（Schapire R E）对这个重要问题做出了构造性证明，其构造过程就是Boosting算法。1997年，弗洛德（Freund Y）和沙皮尔提出了AdaBoost算法。

在国际研究潮流的推动下，我国在神经网络这个新兴的研究领域取得了一些研究成果，几年来形成了一支多学科的研究队伍，组织了不同层次的讨论会。1986年中国科学院召开了“脑工作原理讨论会”。1989年5月在北京大学召开了“识别和学习国际学术讨论会”。

1990年10月中国自动化学会、中国计算机学会、中国心理学会、中国电子学会、中国生物物理学会、中国人工智能学会、中国物理学会和中国通信学会8个学会联合召开“中国神经网络首届学术大会”。会议论文内容涉及脑功能及生物神经网络模型、神经生理与认知心理模型、人工神经网络模型、神经网络理论、新的学习算法、神经计算机、VL51及光学实现、联想记忆、神经网络与人工智能、神经网络与信息处理、神经网络与模式识别、神经网络与自动控制、神经网络与组合优化以及神经网络与通信。1992年11月，国际神经网络学会、IEEE神经网络学会和中国神经网络学会等联合在中国北京召开了神经网络国际会议。