虽然B-P神经网络算法有精度较高、依据可靠、通用性较好、推导过程严谨等优点，但是也存在着收敛速度缓慢，难以确定隐含层数和隐含层节点，容易陷入局部极小值个数等缺点。所以在实际应用中，B-P神经网络算法出现了各种改进算法。
如果学习速率选择不当，在标准B-P神经网络算法中就会导致收敛速度缓慢。学习速率选得太小，收敛太慢；学习速率选得太大，则有可能修正过头，导致振荡甚至发散。可采用图7-5所示的自适应调整学习速率。
调整的基本指导思想是：在学习收敛的过程中，首先增大η，以缩短学习时间；然后当η偏大导致震荡甚至不能收敛时，要及时减小η，直到收敛为止。（2）利用动量法改进B-P神经网标准B-P神经网络算法容易使学习过程发生震荡，导致收敛速度缓慢。因为，标准B-P神经网络算法本质思想是一种简单的最快速下降静态寻优方法，在修正第k步的权值时，没有考虑到以前积累的经验，而只按照第k步的负梯度方向进行修正。这里利用动量法权值调整算法是：本次误差计算所得的权值调整量上要迭加一部分上一次权值的调整量，作为本次的实际权值调整量，即：
其中：η为学习率，范围在0.001～10之间；α为动量系数，通常0＜α＜0.9。这种方法所加的α就像一个阻尼项，它的原理是通过减小学习过程中的振荡幅度，降低了网络对于误差曲面局部细节的敏感性，它的效果就是有效地抑制了网络陷入局部极小的局面。
（3）动量-自适应学习速率调整算法(www.xing528.com)
采用自适应学习速率法时，B-P神经网络算法可以缩短训练时间；采用动量法时，B-P神经网络算法可以找到更优的解。如果将以上两种方法结合起来，那么就得到动量-自适应学习速率调整算法。
（4）L-M学习规则
L-M（Levenberg-Marquardt）算法比前面3种使用梯度下降策略的B-P神经网络算法训练时间少很多，但缺点是如果问题过于复杂时，这种方法就需要相当大的存储空间，对硬件要求较高。L-M优化方法的权值调整公式为：
其中：J为网络误差对权值导数的雅可比（Jacobian）矩阵；e为误差向量；μ为标量，当μ很小时上式变成了Gauss-Newton法，当μ很大时上式接近于梯度法，在这种方法中，μ也是自适应调整的。
综合考虑，拟采用L-M学习规则作为神经网络的学习函数。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
