BP网络模型及其学习过程简介

BP（error Back Propagation）网络是误差反向传播网络的简称，是美国加州大学的鲁梅尔哈特（Rumelhart）和麦克莱兰（Meclelland）在研究并行分布式信息处理方法，探索人类认知微结构的过程中，于1985年提出的一种网络模型。^[3]BP网络的网络拓扑结构是多层前馈网络，如图8－5所示。在BP网络中，同层节点之间不存在相互连接，层与层之间多采用全互连方式，且各层的连接权值可调。BP网络实现了明斯基的多层网络的设想，是神经网络模型中使用最广泛的一种。

图8-5　多层BP网络的结构(www.xing528.com)

在BP网络中，每个处理单元均为非线性输入/输出关系，其激发函数通常采用可微的Sigmoid函数，如。

BP网络的学习过程是由工作信号的正向传播和误差信号的反向传播组成的。正向传播过程是指，输入模式从输入层传给隐含层，经隐含层处理后传给输出层，再经输出层处理后产生一个输出模式的过程。如果正向传播过程得到的输出模式与期望的输出模式有误差，则网络将转为误差的反向传播过程。误差反向传播过程是指，从输出层开始反向把误差信号逐层传送到输入层，并同时修改各层神经元的连接权值，使误差信号最小。重复上述正向传播和反向传播过程，直至得到期望的输出模式为止。

另外，还需要指出以下两点：①网络仅在其学习（即训练）过程中需要进行正向传播和反向传播，一旦网络完成学习过程，被用于问题求解时，则只需正向传播，而不需要再进行反向传播；②尽管从网络学习的角度，信息在BP网络中的传播是双向的，但不意味着网络层次之间的连接也是双向的，BP网络的结构仍然是一种前馈网络。