网络学习与训练：混沌退火思想提高网络性能

基于梯度下降的学习算法在训练过程中容易出现假饱和现象[10]，并且网络易于陷入局部极小，从而降低网络泛化能力和收敛速度。为此，将混沌退火思想结合到网络的训练过程中，利用混沌在优化过程中的随机性和遍历性等良好的寻优特点，提高网络的全局寻优能力，加快学习的收敛速度，提高网络的性能。具体学习过程如下：

Step1.选择式（3）的Logistic映射作为混沌发生机制，生成混沌序列z1，z2，z3，……，其中μ=4.0。

Step2.利用该混沌序列按式（4）初始化网络权值。

其中h为初始化系数，可选择h =0.5。表示第k－1层的第i个神经元与第k层的第j个神经元之间的连接权值。这样网络的权值就被随机地初始化为±0.25之间的随机数。

Step 3.输入第一个样本，并利用式（5）计算网络各神经元的输出。

其中Iki 和Oki 分别表示第k层神经元的输入总和及输出值。

Step4.按式（6）调节第t+1次迭代时的网络权值。(www.xing528.com)

其中α为原权值所占比例系数，η为学习率，dkj按梯度学习算法计算。

Step5.按式（7）～式（9）对网络权值实施退火操作。

其中zn+1为利用式（3）产生的混沌序列，qbig 和qsmall 是混沌信号的最大和最小幅值，且qbig>>qsmall。r（t） 表示退火方式，P（t）是退火接受概率，δ是一个小正数。

Step6.返回Step3，输入下一个样本对，直到所有样本对全部循环一遍。

Step7.重复上述过程，直到网络权值稳定为止。

与传统的梯度学习算法相比，本节算法增加了退火操作。网络在训练的初期，不但按照误差梯度下降的方向调节权值，而且由于混沌随机、遍历寻优的性质，网络具有了一定的跳出局部极小的能力，并在一定程度上克服了假饱和现象，加快了收敛速度。随着迭代次数的增加，退火接受概率不断减小，同时由于r（t）不断衰减，混沌扰动的作用不断减小至0，因此在训练的后期，学习算法就退化为传统的梯度学习算法，从而保证了网络的收敛性。