混沌时间序列的支持向量机回归方法

统计学习理论建立在一系列较坚实的理论基础之上，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小问题等）；同时，在这一理论基础上发展出一种新的通用学习方法——支持向量机。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和方法的发展。支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，在有限的样本情况下，在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的泛化能力。

对于训练集为非线性的情况，通过某一非线性函数φ（·）将训练集数据X映射到一个高维线性特征空间，在这个维数可能为无穷大的线性空间中构造回归估计函数，因此，在非线性情况下，估计函数f（X）形式为f（X）=WTφ（X）+b。其中W 的维数为特征空间维数（可能为无穷维）。使用εinsensitive损失函数，最优化问题为

约束为

式中：ξj和为松弛变量；ε为不敏感损失参数；C为正则项系数；Tn为训练样本个数。其解可通过求解以下对偶问题来获得：

约束为(www.xing528.com)

式中：αi和α*j为Lagrange乘子。

以上的最优化问题可以通过标准的二次规划算法得到。最后可得如下回归型SVM模型

式中：p为非零支持向量个数；K（·）为核函数，表示映射函数间的内积，即K（Xi，Xj）=〈φ（Xi），φ（Xj）〉，b为偏置量。