小样本统计学习理论：重视数学推导与可解释性的方法

（一）统计学习的概念

统计学习（Statistical Learning），源于统计学，是一种基于统计学理论，采用统计推断的方法从有限的样本数据中找出接近于“上帝函数”f的函数g。与机器学习相比，统计学习的方法更重视严密的数学推导及函数g中自变量与因变量之间关系的可解释性。机器学习源于计算机科学，更关注的是能够找到一个能解决实际问题的函数g，以及其解决问题的性能如何。虽然有这些不同，但机器学习中大量算法的实现来自统计学习领域。因此，可以认为统计学习是机器学习的一种实现方式：统计学习∈机器学习。

统计学习是一种基于小样本统计学习理论的机器学习方法，其最典型的学习方法是支持向量机（Support Vector Machine，SVM）。下面主要讨论小样本统计学习的基本理论和支持向量机学习方法。

（二）小样本统计学习理论

小样本（也称为有限样本）统计学习理论是一种研究在小样本情况下机器学习规律的一种理论。其核心是结构风险最小化原理，涉及的主要概念包括经验风险、期望风险和VC维（Vapnik－Chervonenkis Dimension）等。

1.经验风险

经验风险最小是统计学习理论的基本内容之一。其主要目的是根据给定的训练样本，求出以联合概率分布函数P（x，y）表示的输入变量集x和输出变量集y之间未知的依赖关系，并使其期望风险最小。这一过程可大致描述如下。

设有n个独立且同分布（即具有相同概率分布）的训练样本（x1，y1），（x2，y2），…，（xn，yn），为了求出x与y之间的依赖关系，可以先在一个函数集{f（x，w）}中找出一个最优函数f（x，w0），再用该最优函数对依赖关系进行估计，并使如下期望风险函数最小。

在式（5－1）中，函数集{f（x，w）}被称为学习函数（或预测函数）集，可以是任何函数集，如数量集、向量集、抽象元素集等。f（x，w）通过对训练样本的学习，得到一个最优函数f（x，w0），w是广义参数，w0是可以使f（x，w）为最优的具体的w。L（y，f（x，w））是特定的损失函数，表示因预测失误而产生的损失，其具体表示形式与学习问题的类型有关。

对上述期望风险函数，由于其概率分布函数P（x，y）未知，因此无法直接计算。解决方法是，先用样本损失函数的算术平均值计算出经验风险函数(www.xing528.com)

再用该经验风险函数去对上述期望风险函数进行估计。

统计学习的目标是设计学习算法，使该经验风险函数最小化。这一原理也被称为经验风险最小化原理。

2.VC维

VC维是小样本统计学习理论的又一个重要概念，用于描述构成学习模型的函数集合的容量及学习能力。通常，函数集合的VC维越大，其容量越大、学习能力越强。由于VC维是通过“打散”操作定义的，因此在讨论VC维概念之前，先讨论打散操作。

（1）打散操作

样本集的打散（shatter）操作可描述如下。

假设X为样本空间，S是X的一个子集，H是由指示学习函数所构成的指示函数集。指示学习函数是指其值只能取0或l（或者－1或1）的学习函数。对一个样本集S，若其大小为h，则它应该有2h种划分（dichotomy）。假设S中的每种划分都能被H中的某个指示函数将其分为两类，则称函数集H能够打散样本集S。

（2）VC维的确定

VC维用来表示指示函数集H能够打散一个样本集S的能力，其值定义为能被H打散的X的最大有限子集的大小。若样本空间X的任意有限子集都可以被日打散，则其VC维为∞。