设计SVM分类器的优化方案

基本的SVM是针对两类的分类问题，为实现对N个类别的识别，需对SVM进行推广。对于多类模式识别问题，SVM可通过两类问题的组合来实现。通常有以下几种组合策略。

1.一对多分类器（One-against-all Classifier）

其基本思想是把某一种类别的样本当作一个类别，剩余的其他类别的样本当作另一个类别，这样就变成了一个两类分类问题。该方案需要设计k个两类分类器，每个分类器用于将某类模式与其他类分开，即以某个类别的样本为正例，以其他类别的样本为反例，确定k个判别函数，如下式所示：

式中，n_j为第j个分类器的训练样本数。

x最后归为有最大决策值的第l类，即

且满足D_l（x）＞0，而D_j（x）＜0，j=1，2，…，l-1，l+1，…，k。

这种分类方案所构成的两类问题是很不对称的，即训练集中的负类样本要比正类样本多得多。(www.xing528.com)

2.一对一分类器（One-against-one Classifier）

其具体做法是，在多类别中任意抽取两类进行两两配对，转化为两类问题进行训练学习，因此又称为配对分类器。选取第i类数据和第j类数据构造一个分类器，其中i＜j（设i为正例，j为负例），这样需要训练k（k-1）/2个分类器，所对应的k（k-1）/2个判别函数如下式：

式中，n_ij为区分第i个与第j个类的分类器所使用的训练样本数。

在分类识别时，利用所构造的多个SVM进行综合判断，一般可采用投票方式确定样本所属类别。若D_ij（x）=+1，则判断x属于第i类，第i类的票数加1；反之，第j类的票数加1。x最后归为拥有最多票数的类。

3.决策树分类器

决策树分类器利用二叉决策树来构成。二叉树的每个叶节点对应一个类别，每个度为2的非叶节点对应一个子SVM分类器。所以决策树共有k个叶节点，k-1个子SVM分类器，即{SVM_i}^k-1_i=1。其中，第i个子分类器SVMi用于区分第i类与剩余的第i+1，i+2，…，k个类，并将第i个类所对应的样本标记为正例，其他样本标记为反例。对每一级SVM训练后找出对应该级的支持向量，建立最优分类超平面。在新样本分类识别时，只需按照二叉树由高到底（即由根节点开始）进行搜索，就可得出识别结果。