参数选择对SVM性能的影响

虽然SVM在解决小样本、非线性、高维度问题时相当有效，且可以很好地克服局部极小值，但也存在一些需要改善的地方。在利用SVM进行分类时，往往解决的是非线性问题，这时线性分类模型将不能满足实际需要，就需要通过选择核函数实现非线性映射。这样对SVM性能的影响就由对应的3个参数决定，包括：对错分样本的惩罚因子c，ε不敏感损失函数和核函数的参数σ，那么如何选择3个参数成了研究的重点，下面分析这3个参数对SVM性能的影响。

①惩罚因子c对SVM性能的影响。惩罚因子c的作用是通过调节预测模型的置信风险和经验风险之间的平衡，使两者达到某种折中，从而使SVM具有较好的推广能力。c值的选择与数据集紧密相关，不同的数据集对应不同的c值。在给定的数据集上，c值越大，对经验误差的惩罚度就越大，那么预测模型的复杂度就越高，而经验风险就越小；反之亦然。当c值增大到一定程度时，那么预测模型的复杂度达到了数据空间所允许的极限，此时预测模型的预测能力将会保持不变，同时其推广能力(也就是“经验风险”)也将保持几乎不变。对于每一个数据集，至少存在一个最优的c使得预测模型的推广能力达到最优。

②ε不敏感损失函数对SVM性能的影响。ε不敏感损失函数决定了“支持向量”的数量(也称为“稀疏程度”)和泛化能力，控制着预测函数拟合误差的高低，反映了预测函数对输入向量所含噪声的敏感程度。当ε值越大，支持向量的数量就越少，但是预测函数的预测精度就会降低，SVM的稀疏度也越大；当ε值越小，支持向量的数量就越多，预测函数的预测精度也将提高。

③核函数的参数σ对SVM性能的影响。参数σ决定了SVM的学习程度，影响着样本数据在高维空间中的分布复杂度，它的变化从本质上是对映射函数的隐含改变，从而改变数据在样本空间中的维度。而在该空间中，可以构造的线性分类器的最大VC维由样本空间的维度直接决定，即决定了线性分类器最终可以达到的最小经验误差。当σ2值比较大时，对应的样本输出区间也越大，得到的最优分类超平面对应的结构风险也越小，反而经验风险将增大；当σ2值比较小时，对应的样本输出区间也越小，得到的最优分类超平面对应的经验风险将减小，反而结构风险将增大，而且会出现过拟合现象，降低了SVM的分类性能。因此，选择合适的σ2值对SVM性能的提升特别重要。(www.xing528.com)

总之，当c值过小时，容易出现过学习现象，导致SVM的预测模型达不到较好的预测精度，同样当σ2过大时，也会导致过学习现象。所以当给定ε时，如果能找到合适的参数c和σ2，就能得到预测精确较高的模型。

通过上面的分析可以发现，选择合理的参数值对保证SVM的预测精度有重要的作用。而核函数是SVM的核心，并且核参数的选择在很大程度上决定了SVM的预测性能，因此，参数的选择非常重要。

当前，很多参数优化方法被应用到SVM参数优化中，其中，常用的方法有基于梯度下降的参数选择方法［138］、基于蚁群算法的参数选择方法［139］、基于网格的参数优化方法［140］、基于遗传算法的参数优化方法［141］。但是基于梯度下降的方法是一种线性搜索法，在初始值选择不当时，易陷入局部最优；基于蚁群的方法存在初始信息匮乏，求解速度慢的缺陷；网格方法存在计算量大、学习精度低的缺点；基于遗传算法的方法存在操作复杂，对不同的问题需要设计不同的交叉或变异方式。而粒子群优化(PSO)算法具有大范围全局搜索能力；搜索从群体出发，具有隐并行性；搜索使用评价函数值启发；收敛速度快，参数调整简单；具有扩展性，容易与其他算法结合等优点［142］。因此，本章采用改进的PSO算法对SVM的参数进行优化。