统计学习理论与风险函数的评估

传统统计理论是以假定样本的数目趋向无穷大为其理论前提的一种渐近理论,但实际中该前提一般无法被满足,因此理论上很成熟的统计方法在实际中的表现并不能令人满意。1950年,Turing[92]发表了关于计算机人工智能的论文,开始了统计学习问题的研究。

统计学习的目的是根据给定的训练样本求出对系统输入输出之间依赖关系的估计,使它能够对未知信息的输出作尽可能正确的预测。并且它第一次强调了小样本统计学的问题,在该理论框架下,小样本统计学形成了一个前沿的研究方向[93,94]。

统计学习可以通过定义风险函数来对学习效果进行评估。对于n个相互独立并服从同一分布的观测样本,假定系统在给定输入为x的情况下输出y,且变量y和x之间存在未知依赖关系,即遵循未知的联合概率F(x,y),那么学习机器的期望风险定义为:

其中,f(x,ω)称作预测函数集,ω∈Ω为函数的广义参数,L(y,f(x,ω))称为损失函数。(www.xing528.com)

学习的目的就是为了使期望风险最小,为此必须依赖联合概率分布。但是,在统计学习问题中,这一条是未知的,只能利用已知的训练样本信息,因此期望风险无法直接计算和进行最小化。在实际应用中,一般根据大数定理,也就是采用算术平均来代替,利用经验风险最小值来代替期望风险最小值。经验风险用下式表示:

也就是经验风险最小化原则(Empirical Risk Minimization,ERM),经验风险最小化原则是目前绝大多数模式识别方法的基础。但是经验风险最小化的缺陷在于单纯追求对已知数据的完美拟合,在面临新加入的数据时可能出现较大误差,并且没有考虑模型的复杂度,特别是在样本数目有限时显得极不合理。

在经验风险最小化的基础上,统计数学家Vapnik通过严密的数学推理,建立结构风险最小化(Structure Risk Minimization,SRM)理论,把模型的复杂度也列入优化目标,提出风靡全球的支持向量机理论(Support Vector Machines,SVM),在保证分类精度(经验风险)的同时,降低学习机器的VC维,使得学习机器在整个样本集上的期望风险得到控制[95]。