Elman神经网络及其应用中的信息流动

通过图4.3来认识Elman网络模型。假设有一个由两个神经元组成的神经网络，在网络的每一层只有一个神经元，每个神经元都有一个偏置，第一个神经元的偏置为b₁，第二个神经元的偏置为b₂。神经元之间的连接权值重分别是w₁和w₂，并且作用于函数f₁和f₂。由于只有两个神经元，输出Y和输入X的函数关系式如下：

Y=f₂（w₂f₁（w₁X+b₁）+b₂）

图4.3 两个神经元的Elman网络图

在图4.4所示的Elman网络中，隐藏层有一个神经元接收来自某神经元（比如x）的信号并反馈到神经元x的神经元Delay（图4.4中的神经元C）。从神经元Delay传出的信号在反馈到网络之前，会经过一个时间点的延时与w₂相乘。时间t输出的函数关系式如下：

Y[t]=f₂（w₃f₁（w₁X[t]+w₂Delay+b₁）+b₂）(www.xing528.com)

其中Delay=Y₁[t-1]。

在训练的过程中应当对连接权值和偏差进行迭代调整，以减少网络的错误，通常情况下应慎重使用均方误差。如果训练中的误差偏大，则应该使用另一种迭代方法。通过这个简单的例子可以看出，隐藏层和输入层是完全连接并且展现出递归的关系。

图4.4 两结点Elman网络

Elman神经网络在实际应用中非常有效，主要是用来预测给定序列的输出，具有动态特性和短时间内记忆功能。