BP（Back Propagation）神经网络是应用最为广泛的一种人工神经网络，它的结构简单，工作状态稳定，易于硬件实现，主要在识别分类、非线性映射、复杂系统仿真等范围被大量应用。标准BP神经网络算法是一种误差反向传播的前馈网络学习算法。网络模型中不仅有输入层节点、输出层节点，而且有隐层节点（可以是一层或多层）。对于输入信号，要先向前传播到隐层节点，经过作用函数后，再把隐节点的输出信息传播到输出节点，最后给出输出结果。这个算法的学习过程，由正向传播和反向传播组成。在正向传播中，输入信息从输入层经隐单元层逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。其一般结构见图2-6。
图2-6 BP神经网络的结构示意图
BP神经网络的学习过程主要由4个部分组成：①输入模式顺传播（输入模式由输入层经中间层向输出层传播计算）；②输出误差逆传播（输出的误差由输出层经中间层传向输入层）；③循环记忆训练（模式顺传播与误差逆传播的计算过程反复交替循环进行）；④学习结果判别（判定全局误差是否趋向极小值）。
BP神经网络经常使用的是S（Sigmoid）型的对数或正切激活函数和线性函数。图2-5为S型激活函数的图形，对于多层网络，这种激活函数所划分的区域不再是线性划分，而是由一个非线性的超平面组成的区域。它是比较柔和、光滑的任意界面，因而它的分类比线性划分更精确、合理，这种网络的容错性较好。另一个重要的特点是，由于激活函数是连续可微的，它可以严格利用梯度法进行推算，它的权值修正解析式十分明确，其算法被称为误差反向传播法。
BP算法是一种监督式学习算法，其主要思想为，对于q 个输入学习样本：P1，P2，…，Pq，已知与其对应的输出样本为：T1，T2，…，Tq。学习的目的是用网络的实际输出：A1，A2，…，Aq与目标矢量T1，T2，…，Tq 之间的误差来修改其权值，使Ai（i=1，2，…，q）与期望的Ti 尽可能地接近，即：使网络输出层的误差平方和达到最小。它是通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标的。每一次权值和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层。
算法由两部分组成：信息的正向传播和误差的反向传播。在正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反向传回来修改各层神经元的权值直至达到期望目标。
将BP网络三层节点定义：输入节点为Xj，隐节点为Yi，输出节点为Ol，输入节点与隐节点间的网络权值为Wij，阈值为θi，隐节点与输出节点间的网络权值为Tli，输出节点的期望输出为Tli，那么可以对BP网络中的计算公式进行定义。
1.隐层节点的计算公式
计算输出：
误差公式：
权值修正：(www.xing528.com)
阈值修正：
2.输出节点的计算公式
计算输出：
误差公式：
误差修正：
权值修正：
阈值修正：
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
