机器学习的研究概况及其应用

由于机器学习的研究有助于发现人类学习的机理和揭示人脑的奥秘，所以在人工智能发展的早期，机器学习的研究就处于重要的地位。自20世纪50年代以来，机器学习的研究大致经历了4个阶段。早期研究是无知识的学习，主要研究神经元模型和基于决策论方法的自适应和自组织系统。但是神经元模型和决策论方法当时只取得非常有限的成功，局限性很大，研究热情大大降低。60年代处于低潮，主要研究符号概念获取。1975年温斯顿（Winslon PH）发表了从实例学习结构描述的文章，激起人们开始恢复对机器学习的研究兴趣，出现了许多有特色的学习算法。更重要的是人们普遍认识到，一个学习系统在没有知识的条件下不可能学到高级概念，因而把大量知识引入学习系统作为背景知识，使机器学习理论的研究出现了新的局面和希望。由于专家系统和问题求解系统的大量建造，知识获取成为严重的瓶颈，而这一问题的突破完全依赖于机器学习研究的进展。机器学习的研究开始进入新的高潮。

1984年瓦伦特（Valiant LG）提出“大概近似正确（Probably Approximately Correct，PAC）”机器学习理论，他引入了类似在数学分析中的ε-δ语言来评价机器学习算法。PAC理论对近代机器学习研究产生了重要的影响，如统计机器学习、集群学习（Ensemble）、贝叶斯网络和关联规则等。1995年瓦普尼克（Vapnik VN）出版了《统计学习理论的本质》，提出结构风险最小归纳原理和支持向量机学习方法。(www.xing528.com)

机器学习的方法主要有归纳学习、类比学习、分析学习、发现学习、遗传学习和连接学习。过去对归纳学习研究最多，主要研究一般性概念的描述和概念聚类，提出了AQ算法、变型空间算法和ID3算法等。类比学习是通过目标对象与源对象的相似性，从而运用源对象的求解方法来解决目标对象的问题。分析学习是在领域知识指导下进行实例学习，包括基于解释的学习、知识块学习等。基于解释的学习是从问题求解的一个具体过程中抽取出一般的原理，并使其在类似情况下也可利用。因为将学到的知识放进知识库，简化了中间的解释步骤，可以提高今后的解题效率。发现学习是根据实验数据或模型重新发现新的定律的方法。遗传学习起源于模拟生物繁衍的变异和达尔文的自然选择，把概念的各种变体当作物种的个体，根据客观功能测试概念的诱发变化和重组合并，决定哪种情况应在基因组合中予以保留。连接学习是神经网络通过典型实例的训练，识别输入模式的不同类别。强化（Reinforcement）学习是指从环境状态到行为映射的学习，以使系统行为从环境中获得的累积奖励值最大。在强化学习中，我们设计算法来把外界环境转化为最大化奖励量的方式的动作。强化思想最先来源于心理学的研究。1911年，桑戴克（Thorndike E L）提出了效果律（Law of Effect）。即在一定情景下让动物感到舒服的行为，就会与此情景增强联系（强化），当此情景再现时，动物的这种行为也更易再现；相反，让动物感觉不舒服的行为，会减弱与情景的联系，此情景再现时，此行为将很难再现。1989年，瓦特金（Watkins C）提出了Q-学习（Watkins et al.1989），把时序差分和最优控制结合在一起，开始了强化学习的深入研究。