支持向量机回归简介

支持向量机解决回归估计问题的基本思想是:通过一个非线性映射Φ将输入变量x映射到高维特征空间F,然后在这个高维特征空间构造回归估计函数。通过引入核函数,支持向量机避免了在高维空间的复杂计算。

标准SVM算法计算复杂度与训练样本个数有关,当样本数目过大时,求解相应的二次规划问题就变得复杂,计算速度也会相应变慢。1999年Suykens[116]提出了最小二乘支持向量机(LS-SVM)算法,用最小二乘线性系统作为损失函数,代替传统支持向量机的二次规划方法,取得了较好的效果,运算简单,收敛速度快,精度高。

本章简要介绍最小二乘支持向量回归的原理(LS-SVR),更多细节请参考文献(Vapnik,1997,Sukykens et al.2001 and Smola and Scholkopf 2004)。

给定训练集{x i,y i},i＝1,…,m,其中x i∈R n,y i∈R,通过下式进行回归估计:

其中非线性映射φ(·)将输入数据映射到高维特征空间。标准SVR估计和最小二乘SVR估计的区别在于损失函数和等式约束上。LS-SVR的最优化问题表述如下:

约束条件为

引入拉格朗日算子α＝(α1,…αm)T,定义拉格朗日函数为(www.xing528.com)

最优化条件为

式中,i＝1,…,m。消除变量e和w,可得下列矩阵方程

其中I为单位矩阵,1＝(1,…,1)T,y＝(y 1,…,y m)T,Ω为核矩阵,存在映射函数φ和核函数κ(·,·)使得

令A＝Ω＋γ－1 I。由于A对称且正定,对于任意γ＞0,A－1均存在。对公式(4.23)解线性方程,可得

将公式(4.22)第一个分式中的w以及公式(4.24)代入公式(4.18),我们得到最小二乘支持向量回归估计:

其中αi和b由公式(4.25)给出,取决于γ和核矩阵。此处选取高斯核函数κ(x,x i)＝exp(－‖x－x i‖2/2σ2)作为本书的核函数。由于公式(4.25)是关于γ和σ的函数,为了确定最优参数值,我们接下来介绍直接搜索法,并提出一个复合的LS-SVR-DS模型及其改进形式。