最小二乘支持向量机方法在混沌时间序列预测中的应用

最小二乘支持向量机（Least Square Support Vector Machines，LSSVM）不同于标准支持向量机之处在于它将不等式约束改成等式约束[25]，并把经验风险由偏差的一次方改为二次方。回归型LSSVM可以描述为：

对于一个给定的训练数据集（Xi，yi），i=1，2，…，Tn，Xi∈Rn，yi∈R，利用高维特征空间里的线性函数：

来拟合样本集，其中非线性映射φ（·）把数据集从输入空间映射到特征空间，以便使输入空间中的非线性拟合问题变成高维特征空间中的线性拟合问题。根据结构风险最小化原理，综合考虑函数复杂度和拟合误差，回归问题可以表示为约束优化问题。

约束条件：yi=WTφ（Xi）+b+ei，i=1，…，Tn。其中γ为正则项参数，b为偏置，e=[e1，e2，…，eTn]T。为了求解上述优化问题，建立Lagrange函数

式中：ai是Lagrange乘子。根据KarushKuhnTucker最优条件，消去ei和W 后，得到如下线性方程组：(www.xing528.com)

其中，y=[y1，…，yTn]T，e1=[1，…，1]T，a=[a1，…，aTn]T，Q=〈φ（Xi），φ（Xj）〉=K（Xi，Xj），ij=1，…，Tn。

由上可知，回归型LSSVM的算法优化问题可转化为求解线性方程组问题，而不像标准支持向量机那样要求解一个二次型规划问题，解线性方程组比求解二次规划更为简单快速。

最终可得如下回归型LSSVM模型

回归型LSSVM与标准支持向量机比较起来具有更小的计算复杂性。