统计学习方法详解

上一节中人工神经网络要达到理想的效果需要大量样本数据，但是在实践使用中能取得的样本数据有限。这种矛盾在传统统计模式分类识别同样存在，传统统计模式研究基础是渐进理论，这种理论是研究当样本数量趋于无穷大时极限特性。20世纪60年代以Vladimir N.Vapnik为代表的学者开始研究在小数据样本基础上的统计学习理论，它是基于机器学习的研究方法。但是当时研究有限，并没有提出切实可行的办法。直到20世纪90年代，STL研究逐渐开始成熟起来，在1992—1995年，Cortes和Vapnik在统计学习理论上提出了支持向量机SVM这一新的模式分类方法。支持向量机主要运用了VC维理论以及结构风险最小原理，它在小样本数据的学习精度和推广能力之间找到了一条最佳的道路，有效地解决了在有限数据样本条件下的模式分类识别问题。SVM在模式分类识别方面已经取得了较好应用，支持向量机SVM是本书的重点研究内容，关于它将在第6章进行详细论述。

2006年，加拿大教授Geoffrey Hinton和他的学生Ruslan Salakhutdinov在《SCIENCE》上提出了深度学习的概念。近年来，基于神经网络的深度学习引起了故障模式识别领域科研人员的关注。深度学习是人工神经网络研究的延伸。深度学习是在人工神经网络基础上实现了多隐层使其具有更加强大的特征学习能力，通过学习深层非线性网络结构，实现复杂函数逼近。深度神经网络（Deep neural network，简称DNN）主要分为三类：深度信念网络（Deep belief network，简称DBN）、堆叠自动编码器（Stacked auto-encoders）和卷积神经网络（Convolutinal neural network，简称CNN）。深度学习有两个重要特点，海量数据和多隐层机器学习模型。它能够将数据中包含的信息准确描述出来。深度学习这些特点逐渐被研究人员了解并加以应用。(www.xing528.com)

当前，在统计学习领域中深度学习和SVM是最为热门的两大研究方法。深度学习在很大程度上依赖于大规模数据，特征提取更依赖于隐层模型，解释性弱。由于深度学习模型很复杂，它们需要大量的计算性能来构建。同时，它也需要海量数据作为训练基础，而训练所得的结果却难以应用到其他问题上。不难看出，深度学习训练成本相当高。与深度学习不同，SVM属于浅层机器学习模型。SVM无论在理论还是实际应用方面都相当成熟，训练成本较低。尤其重要的是，SVM特别擅长处理小样本数据的学习问题。在旋转机械故障中，受到现场环境影响，取得数据样本一般都为小样本集合。SVM的优势正好符合旋转机械数据样本特点。综上所述，本书在模式识别分类处理方面采用了支持向量机SVM模型。