BP神经网络的基本原理和应用

在现代神经科学基础之上发展起来的人工神经网络，以Hopfield 神经网络、ART 神经网络和BP 神经网络最为常见。BP 神经网络是基于误差反向传播的多层前向网络，网络结构由输入层、隐含层和输出层构成，同层节点之间无关联，不同层节点前向连接。研究表明，目前，在人工神经网络的实际应用过程中，绝大部分的神经网络模型都是采用BP 网络及由它而演变而来神经网络。

利用BP 神经网络模型进行信息处理的思想是：输入信号ui 与隐含层节点连接，并进行相应的非线性变换，输出节点则通过隐含层节点与输入节点连接，经过非线性变换后得到输出信号y（k）。输入向量u 和预期输出向量y^（k）组成BP 神经网络的训练集，经过训练得到预测输出y^（k）与实际应用输出y（k）之间的偏差，通过多次学习训练，调节各节点之间的权重及阈值，不断减小误差，当达到预想结果后，即可停止训练，确定网络参数。通过调节wij和隐含层节点与输出节点之间的联接强度tjk以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数（权值和阈值），训练停止。这样，经过训练后的神经网络，给定一组类似的输入向量，经过隐含层的非线性变换，即得到理想的输出值。

对于BP 神经网络模型，要确定网络拓扑结构和相关参数，就是要确定与之相关的几个模型：输入输出、激活函数、误差计算及学习算法。一种典型的BP 神经网络拓扑结构如图11.6所示。

图11.6　一种典型的BP 网络结构拓扑结构

（1）节点输出模型

隐含层节点输出：

输出层节点输出：

式中　f——激活函数；

　　　θ——神经单元阈值。(www.xing528.com)

（2）激活函数

在神经网络中，不同激活函数处理信息的能力不同，因此，神经网络的激活函数反映了输出向量与激活状态之间的关系。对于BP 神经网络，常取（0，1）内连续取值Sigmoid 函数：

（3）误差函数

误差函数反映神经网络预测输出向量与实际工程应用输出之间的误差大小：

（4）学习方式及隐含层节点确定

神经网络的训练过程是通过调节各层节点之间的权重wij，并不断修正误差的过程，一般分为有监督学习和无监督学习，前者需要设定期望值，而后者只需要输入信息即可。

神经网络的隐含层节点连接了输入层向量和输出值，并进行非线性变换。神经网络的性能与隐含层节点数目密切相关。过多的隐含层数目会使学习时间过长，影响网络学习的效率，甚至导致网络不收敛；而过小的隐含层节点数目会使网络的容错性变差。对于隐含层数目的确定目前还没有明确的表达式，参考Hecht-Nielsen 提出的观点，隐含层节点数L 可参考下面的公式计算：

式中　n——输入节点数。