小波神经网络在非线性协整时间序列中的应用

小波分析是信号分析和系统识别领域中一个重要的分支，相对于傅里叶分析，其具有自适应的时频窗口，可以在时域和频域表征信号的局部特性；小波神经网络则是将小波分析和神经网络相结合，用以进行非线性函数逼近。Zhang Qinghua与Benveniste（1992）明确提出了小波神经网络及其算法，即将小波函数作为神经元的基函数，通过仿射变换建立起小波变换与神经网络权重系数之间的联系并应用于函数逼近。李明国、郁文贤（1998）研究表明，与使用Sigmoid型基函数一样，小波神经网络具有任意逼近非线性函数的能力；同时，小波变换具有良好的时频特性，可以通过尺度参数和平移参数的训练，更快、更精确地逼近非线性函数；另外，小波神经网络可以避免局部最优问题。樊智、张世英（2005）给出与图5-1相同的小波神经网络模型结构，本书进一步探讨该模型的非线性函数逼近。图7-6中，为小波函数，从而输出函数模型为：

图7-6　基于小波神经网络（WNN）的非线性函数估计模型

与BP神经网络思路相同，可以通过确定上述小波神经网络模型的参数集：{Θ:αji,aj,bj,βj,i＝1,2,…,p;j＝1,2,…,q},即可求得函数的近似表达式。通常按小波分析方法，但需确定非线性函数的时频空间区域来确定最简小波基函数集，本书采用与樊智、张世英（2005）相似的方法，直接通过梯度法动态确定各小波函数的伸缩因子和平移因子以及其他权数。利用本书对BP网络的研究结果，采用带动量的LM算法，其关键算法步骤如下：

令w1×(p＋3)q＝(β1,…,βq,a1,…,aq,b1,…,bq,α11,…,α1q,α21,…,α2q,…,αp1,…,αpq)为小波神经网络的参数向量，其总误差为：

则该向量的迭代调整为：

(www.xing528.com)

这里η为学习率，γ为动量因子，μ﹥0为比例系数，In×n为单位矩阵，J(w)为Jokobian矩阵，这里

李洋（2008）研究了小波过程神经网络，提出对于小波激励函数应该根据小波函数特性和应用领域来选择。对函数逼近和非线性参数估计，本书选择的主要常用小波函数^[6]有：① 高斯小波（这里，取高斯函数的一阶导数），ψ(x)＝xexp(－x2/2)；② 墨西哥帽（Mexican hat）小波，ψ(x)＝(1－x2)exp(－x2/2)；③ Morlet小波，ψ(x)＝cos(5x)exp(－x2/2)。

例7-3　考察函数，x～U[－2,2]，取样本数为200，应用带动量的改进LM学习算法，神经元为高斯小波神经元，个数为58个，迭代3000次，逼近效果如图7-7所示：

图7-7　左边为拟合图，曲线为逼近值，点为函数值；右图为适应度变化图

由图7-7可看出，在没有确定最简小波基函数集及各小波基函数的伸缩因子和平移因子的初始值前提下，算法最初迭代的效果振动很剧烈，其后，趋向于被逼近函数，这里，当迭代1200次时，逼近精度已经非常高，迭代3000次时的总平均误差则为：0.005272834，这表明应用带动量的改进LM学习算法的高斯小波神经网络对复杂的波动函数的逼近效果非常好。

本书进一步MC仿真研究表明，在无须确定最简小波基函数集的各小波基函数的伸缩因子和平移因子的初始值前提下，应用带动量的LM学习算法仍然可以任意逼近各类函数，这使得应用小波神经网络与BP神经网络的方法相似，大大增加了其实际应用能力，从而表现出良好的鲁棒性和很强的泛化能力。