结构风险最小化SRM算法解析与应用

通过推广性的界可知，一个优秀的学习机器要将经验风险和置信范围都要最小化，这样才能得到满意的期望风险。这就是结构风险最小化（Structure Risk Minimization，简称SRM）发展的由来，它的基本思想就是为了使期望风险降低，在保证学习精度的同时，必须尽量减小VC维。结构风险是期望风险的一个上界。

结构风险最小化原则是建立在式（6-12）基础上，它的策略分为三个步骤：

（1）将函数集合S=｛f（x，a），a∈Ω｝划分成为一个函数子集嵌套序列：

（2）设hk表示相应函数子集的VC维，按照从小到大将其排列：

(www.xing528.com)

（3）不同的Sk子集VC维不同，但是在同一Sk子集中VC维是相同的。

这样它们的置信范围也相同，我们要在函数子集中找到使最小经验风险和置信范围之和最小的那个子集Sk。我们所求的最优函数就是在Sk中是经验风险最小的函数，这样就可以使期望风险最小。

图6-4　结构风险最小化示意图

目前实现结构风险最小化原则主要有两种方法：第一种方法是先在每个划分的函数子集中找出最小经验风险，然后再从各个函数子集中找出置信范围与最小经验风险之和最小的那个子集；第二种方法是先建立一种能够使每个函数子集均可以取得最小经验风险的结构，再找到能使置信范围最小的子集，我们要找的最优函数就是在这个子集中使经验风险最小的函数。不难看出，第一种方法和第二种方法本质上就是在经验风险值和置信范围这两个值中，哪个为固定值，哪个为最小化处理的问题。神经网络算法采用的是第一种方法，这种方法耗费时间长并且受到函数子集数目的限制；第二种方法就是支持向量机所采用的方法。