神经网络的学习规则优化

不同的神经网络模型，依据它的功能和性能要求采用不同的学习规则形成的学习算法，其学习算法各有优点，因此可在同一信息采集问题中采用不同的学习算法。神经元的权值的学习法则，一般为下列模式：

式中：x 为输出；

k、η为学习效率的系数；

δ为学习信号；

wi（t）和wi（t+1）分别为第t次和第t+1次时的权值。

以下根据神经网络的确定权值的方法不同，介绍集中确定权值的常用规则。

1.Hebb学习规则

Hebb学习规则是最早的、最著名的训练算法，它基于的想法，就是当同一时刻两个被连接的神经元的状态都是“1”（兴奋）时，加大连接两者的权值。在神经网络中Hebb算法简单描述为：如果一个处理单元从另一处理单元接收输入激励信号，而且如果两者都处于高激励电平，那么处理单元间的加权就应当增强。用数学来表示，就是两节点的连接权将根据两节点的激励电平的乘积来改变，即：

式中：wij（n）为第n+1次调节前，从节点j到节点i的连接权值；

wij（n+1）为第n+1次调节后，从节点j到节点i的连接权值；

η为学习速率参数；

xj 为节点j 的输出，并输入到节点i；

yi 为节点i的输出。

对于Hebb学习规则，学习信号δ简单地等于神经元的输出：

权向量的增量变为：

对于单个的权用以下的增量得到修改：

即

这个学习规则在学习之前要求在Wi=0附近区域的小随机值上对权值进行初始化。规则说明了如果输出和输入的数量积是正的，将产生权值wij的增加；否则，权值减小。

2.感知器学习规则

在感知器学习规则中，学习信号等于期望和实际神经元的响应之间的差，因而学习受到指导而学习信号等于：

式中：wi（k）为当前的权值；

di 为导师信号；

yi 为感知器的输出值；(www.xing528.com)

η为控制权值修正速度的常数（0＜η≤1）。权值的初始值一般取较小的随机非零的值。

值得注意的是，感知器学习方法在函数不是线性可分时，得不出任何结果，另外也不能推广到一般的前馈网络中去。主要原因是转移函数为阈值函数，为此人们用可微函数，如Sigmoid函数来代替阈值函数，然后采用梯度下降算法来修正权值。

3.Delta学习规则

Delta学习规则又称最小均方误差（Lean Mean Square，LMS）。它利用目标激活值与所得的激活值之差进行学习。其方法是：调整函数单元的联系强度，使这个差最小。Delta学习规则适用于：

和

以及可适用于有导师训练模式中的连续激活函数。这种学习规则的学习信号称为Delta并定义如下：

式中：X=（x1，x2，…，xn）T，f′（WTiX）为激活函数f（net）的导数，net=WTiX。

学习规则能够很容易地由实际输出值和期望值之间的最小平方误差推导出来。计算如下：令i为对第i个单元进行的计算，di 为第i个单元的期望输出值，yi=f（net）为第i个单元实际输出值，计算平方误差关于第i个单元的权向量Wi 的梯度向量，平方误差定义为：

这里乘以因子1／2的目的仅仅是使得表达式可以用一种方便的形式来表达。上式即为：

平方误差关于权向量Wi 的梯度向量值为：

梯度向量的分量为：

一般称E 为误差能量。由于误差能量下降最快的方向就是沿着那一点的负梯度方向，所以取：

即

对于权向量的分量，调节变成：

因此最小平方误差，通过式（2-21）可计算出权值的改变量。在式（2-21）中代入由式（2-15）定义的学习信号，权值调节变成：

其中，c为正常数，称为学习常数，确定学习的速率。因此式（2-24）和式（2-25）是等同的。对于这种训练方法，权值可以取任何初始值。η学习规则能够被推广应用于多层网络。

4.胜者为王学习规则

这个规则是竞争学习的一个例子，被用于非监督神经网络的训练（Grossberg，1997）。这个学习是基于某层，比如m 层中神经元中的一个有最大响应为前提。例如，这个响应是由输入X 引起的，则这个神经元被宣布为获胜者。由于这个事件的结果，权向量W m 为：

得到调节，它的增量按下式计算：

其中，α＞0是一个小的学习常数。选择获胜者的方法是基于参加竞争的m 层中所有p 个神经元中最大激活的准则。其表达式如下：

这个准则就是寻找最接近于输入矢量X 的权向量，然后唯独对此获胜权向量的权值进行调整。输入后的权向量趋向于比较好地估计输入模式。