深度学习：突破性进展和应用技术研究

深度学习是人工智能中发展迅速的领域之一，可帮助计算机理解大量图像、声音和文本形式的数据。深度学习的概念源于人工神经网络的研究，由Hinton等人在2006年提出，主要机理是通过深层神经网络算法来模拟人的大脑学习过程，希望借鉴人脑的多层抽象机制来实现对现实对象或数据的机器化语言表达。

深度学习由大量的简单神经元组成，每层的神经元接收更低层神经元的输入，通过输入与输出的非线性关系将低层特征组合成更高层的抽象表示，直至完成输出，如图9-3所示。具体来讲，深度学习包含多个隐藏层的神经网络，利用现在的高性能计算机和人工标注的海量数据，通过迭代得到超过浅层模型的效果。深度学习带来了模式识别和机器学习方面的革命。而深度学习的实质，就是通过构建具有很多隐藏的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

图9-3　深度学习模型

传统机器学习为了进行某种模式的识别，通常的做法是以某种方式来提取这个模式中的特征。在传统机器模型中，良好的特征表达，对最终算法的准确性起了非常关键的作用，且识别系统的计算和测试工作耗时主要集中在特征提取部分，特征的提取方式有时候是人工设计或指定的，主要依靠人工提取。

与传统机器学习不同的是，深度学习提出了一种让计算机自动学习的模式特征方法，并将特征学习融入到建立模型的过程中，从而减少人为设计特征造成的不完备性（见图9-4）。而目前以深度学习为核心的某些机器学习应用，在满足特定条件的应用场景下，已经达到了超越现有算法的识别或分类性能。深度学习发展的3个阶段如下。

图9-4　传统机器学习与深度学习(www.xing528.com)

第一，模型初步。2006年前后，深度学习模型初见端倪，这个阶段主要的挑战是如何有效训练更大更深层次的神经网络。2006年，Geoffery Hinton提出深度信念网络，一种深层网络模型。使用一种无监督训练方法来解决问题并取得良好结果。该训练方法降低了学习隐藏层参数的难度且训练时间和网络的大小和深度近乎线性关系。这被认为是深度学习的开端，Hinton也被称为“深度学习之父”。

第二，大规模尝试。2011年年底，大公司逐步开始进行大规模深度学习的设计和部署。“Google大脑”项目启动，由时任斯坦福大学教授的吴恩达和Google首席架构师JeffDean主导，专注于发展最先进的神经网络。初期重点是使用大数据集以及海量计算，尽可能拓展计算机的感知和语言理解能力。该项目最终采用了16 000个GPU搭建并行计算平台，以YouTube视频中的猫脸作为数据对网络进行训练和识别，引起业界轰动，此后在语音识别和图像识别等领域均有所斩获。

第三，遍地开花。2012年，Hinton带领的研究团队赢得ILSVRC-2012ImageNet，计算机视觉的识别率一跃升至80%，标志人工特征工程正逐步被深度模型所取代。此外，强化学习技术的发展也取得了卓越的进展。2016年，Google子公司DeepMind研发的基于深度强化学习网络的AlphaGo，在与人类顶尖棋手李世石进行的“世纪对决”中最终赢得比赛，被认为是深度学习具有里程碑意义的事件。

人工智能近年来不断突破新的极限，部署新的应用，获得快速和普遍的发展，与深度学习技术的进步密不可分。深度学习直接尝试解决抽象认知的难题，并取得了突破性的进展。深度学习的提出、应用与发展，无论从学术界还是从产业界来说均将人工智能带上了一个新的台阶，将人工智能产业带入了一个全新的发展阶段。如今，深度学习俨然成为国外研究人工智能的最热门领域。