增加流形正则项提升目标函数效果

增加一个正则项(定义在无标签样本上)到传统的SVM最优化函数中，得到下面的TSVM最优化问题：

其中，H1(·)=max(0，1-·)是经典的Hinge损失函数用于对有标签样本的惩罚，H1(|·|)=max(0，1-|·|)是对称Hinge损失函数用于对无标签样本的惩罚。在式(6.6)中，当C2=0时，对应的就是传统的SVM最优化问题；当C2＞0时，将对无标签样本进行惩罚。但是这个最优化问题是一个非凸函数，导致求解比较困难。

Collobert等［60］提出了CCCP近似优化技术，该方法将非凸函数分解为凸部分和凹部分，然后迭代求解。在算法CCCP每次迭代中，凹部分通过它的切线并最小化凸函数。在文献［60］中，用于无标签数据的损失函数由Ramp损失函数代替，并将它分解为一个Hinge损失函数和一个凹损失函数之和。Ramp损失函数表达为：

其中，H1(z)是Hinge损失函数；Hs(z)是凹损失函数，其对应的表达式为：Hs(z)=max(0，s-z)，s是一个预设的参数，使得-1＜s≤0。在本章，设定s=-0.3。

训练TSVM从本质上等价于训练附加了一些条件的传统SVM。即采用Hinge损失函数H1(z)对有标签样本的惩罚，将Ramp损失函数Rs(z)用于对无标签样本的惩罚，其中每一个无标签的样本将会出现两次，并且被赋予的标号也有两种可能。

在引入下面的元素后：

式(6.6)可改写为：

根据文献［60］，CCCP求解TSVM对应的目标函数如下：(www.xing528.com)

其中，βi与损失函数的导数有关，可以表达为：

为获取数据的几何结构，常用的方法是定义一个拉普拉斯图函数L。这样通过增加一个正则项对拉普拉斯图中邻居样本的估计函数值的突变进行惩罚，来利用数据的流形结构。那么，TSVM对应的最优化问题可以表达为：

其中，C2控制无标签样本在整个目标函数中的影响；C3控制基于图的正则项的影响。如果将C3设置为0，那么TSVM将会忽略训练数据的流形信息。

若得到了上述最优化问题的解ω，那么最优化问题(6.13)—(6.14)，可改写为：

引入拉格朗日乘子，并求解其对偶问题，可得到对应的决策函数：

其中，，ρ和γi都是拉格朗日乘子。