深度学习：特点与应用领域

深度学习的发展来源于计算机科学中的人工智能领域。现有的深度学习模型属于神经网络模型。神经网络的历史可以追溯到20世纪40年代，其曾经在八九十年代流行。神经网络试图通过模拟大脑认知的机理，解决各种机器学习的问题。1986年，Rumelhart、Hinton和Williams在Nature（《自然》）发表文章介绍了著名的反向传播算法用于训练神经网络，该算法直到今天仍被广泛应用。

人工智能，是指通过人类的编程操作，使计算机作为非生命物质能够像人类一样拥有（或近似拥有）智能能力，从而可以代替人类来实现识别、认知、分析和决策等功能。随着“人工智能”这一概念被提出，研究人员对人工智能应用的各领域都进行了深入的研究，极大地扩展了应用的方向和深度，如计算机视觉、语音技术、自然语言处理、决策系统、大数据应用等。同时，随着计算机计算能力的进步，人工智能技术也不断发展。“人工智能”一词最早出现在1956年Dartmonth（达特茅斯）会议，McCarthy、Simon、Newell、Minsky与Shannon等科学家共同研究和探讨了用机器模拟智能的一系列有关问题，并首次提出了“人工智能”这一术语。尼尔逊教授[1]对人工智能下了这样的定义：“人工智能是关于知识的学科——怎样表示知识以及怎样获得知识并使用知识的科学。”而美国麻省理工学院的温斯顿教授[2]认为：“人工智能就是研究如何使计算机去做过去只有人才能做的智能工作。”这些说法反映了人工智能学科的基本思想和基本内容，即人工智能是研究人类智能活动的规律，构造具有一定智能的人工系统，研究如何让计算机去完成以往需要人的智力才能胜任的工作也就是研究如何应用计算机的软硬件来模拟人类某些智能行为的基本理论、方法和技术。从诞生之日起60 多年来，人工智能已取得长足的发展，成为一门应用广泛的交叉学科和前沿学科。人工智能发展框架如图1 − 1 − 1 所示。

图1−1−1　人工智能发展框架[3]

人工智能在发展过程中，出现了机器学习这一重要分支。机器学习作为人工智能的核心技术，其主要内容在于“学习”，通过使用多种不同的算法来分析满足一定任务需求的数据，并从中学习，然后对给定任务做出决策或预测。相对于明确地编写复杂而冗长的程序来执行某些任务，不如给予计算机一定的“学习”能力来开发特定的算法以完成这些任务，从而减轻开发负担。因此，机器学习受到了不少领域用户的重视和欢迎。机器学习主要有三种类型——强化学习、监督学习和无监督学习，它们各自适用于不同的环境和场合。

在对机器学习的研究中，衍生了更具影响力的深度学习这一领域。2006年，Geoffrey Hinton 提出了深度学习。深度学习从属于机器学习，常用于特征提取、分类和识别，其目的是模仿人脑的思维过程。深度学习已在诸多领域取得了巨大成功，并受到广泛关注。

神经网络在20 世纪90 年代后能够重新发展的原因有以下几方面。

（1）大数据的出现在很大程度上缓解了训练过拟合的问题。例如，ImageNet 训练集拥有上百万有标注的图像。

（2）计算机硬件的飞速发展提供了强大的计算能力，使得训练大规模神经网络成为可能。例如，一片GPU（Graphics Processing Unit，图形处理器）就可以集成上千个运算核。(www.xing528.com)

（3）神经网络的模型设计和训练方法都取得了长足的进步。例如，为了改进神经网络的训练，研究者提出了非监督和逐层的预训练。它使得在利用反向传播对网络进行全局优化之前，网络参数能达到一个好的起始点，从而在训练完成时能达到一个较好的局部极小点。

深度学习的出现促进了当今许多新技术的出现和发展。相对于机器学习，深度学习更加接近人工智能最初追求的目标。深度学习技术学习的是给定样本数据的内在规律和表示层次，其学习的最终目标是让非生命物质的机器能够通过一系列内部操作，像人类一样通过学习来获得一定的分析能力，能够识别诸如文字、语音、图像等数据。

与机器学习类似，深度学习的学习方法可以分为监督性学习、半监督性学习和无监督性学习三种。

（1）监督性学习：对于一个模型，给予输入和对应的输出，使其学习该部分输入与输出之间的对应规则。

（2）半监督性学习：对于一个模型，给予输入和部分对应的输出，使其学习该部分输入与输出之间的对应规则。

（3）无监督性学习：对于一个模型，只给予输入，而不给予输出，使其学习该部分输入与输出之间的对应规则。

深度学习与传统模式识别方法的最大不同在于，它是从大数据中自动学习特征，而非采用人工设计的特征。好的特征可以极大地提高模式识别系统的性能。在过去几十年模式识别的各种应用中，人工设计的特征处于统治地位。它主要依靠设计者的先验知识，很难利用大数据的优势。由于依赖人工设置参数，因此在特征设计中只允许出现少量参数。而深度学习可以从大数据中自动学习特征的表示，可以包含成千上万的参数。人工设计出有效的特征是一个相当漫长的过程，回顾计算机视觉发展的历史，往往5～10 年才出现一个得到广泛认可的好的特征；而深度学习可以针对新的应用从训练数据中很快学习到新的、有效的特征表示。

深度学习模型意味着神经网络的结构深，由很多层组成。然而，支持向量机和Boosting 等常用的机器学习模型都是浅层结构。有理论证明，三层神经网络模型（包括输入层、输出层和一个隐含层）可以近似任何分类函数。理论研究表明，针对特定的任务，如果模型的深度不够，其所需要的计算单元就会呈指数增加。这意味着虽然浅层模型可以表达相同的分类函数，但其需要的参数和训练样本要多得多。浅层模型提供的是局部表达，它将高维图像空间分成若干局部区域，每个局部区域存储至少一个从训练数据中获得的模板。浅层模型将一个测试样本和这些模板逐一匹配，根据匹配的结果来预测其类别。例如，在支持向量机模型中，这些模板是支持向量；在最近邻分类器中，这些模板是所有的训练样本。随着分类问题复杂度的增加，图像空间需要被划分成越来越多的局部区域，因而需要越来越多的参数和训练样本。

深度模型能够减少参数的关键原因在于重复利用中间层的计算单元。例如，它可以学习针对人脸图像的分层特征表达。最底层可以从原始像素学习滤波器，刻画局部的边缘和纹理特征；通过对各种边缘滤波器进行组合，中层滤波器可以描述不同类型的人脸器官；最高层描述的是整个人脸的全局特征。深度学习提供的是分布式的特征表示。在最高的隐含层，每个神经元代表一个属性分类器，如性别、人种和头发颜色等。每个神经元都将图像空间一分为二，N 个神经元的组合就可以表达2N 个局部区域，而用浅层模型表达这些区域的划分至少需要 2N 个模板。由此可以看出，深度模型的表达能力更强，效率更高。