深度学习：前景与背景定义

2006年，深度结构学习（经常被称作深度学习或分层学习）作为机器学习研究的一个新的领域出现了^[20，163]。在过去的几年里，由深度学习发展而来的一些科学技术对信号和信息处理的各个方面都产生了深远的影响，这种影响不仅存在于传统领域，也存在于诸如机器学习和人工智能等一些重要的新兴领域中；对于此类研究，文献[7，20，24，77，94，161，412]进行了概述，媒体报道[6，237]也有所涉及。近年来，很多研讨会、教程、期刊专刊或专题会议都对深度学习及其在信号和信息处理中的各种应用进行了专门的研讨活动，其中包括：

• 2008年NIPS（Neural Information Processing Systems，神经信息处理系统）深度学习研讨会（2008 NIPS Deep Learning Workshop）；

• 2009年NIPS关于深度学习的语音识别及相关应用的研讨会（2009 NIPS Workshop on Deep Learning for Speech Recognition and Related Applica-tions）；

• 2009年国际机器学习大会（International Conference on Machine Learn-ing，ICML）关于学习特征的研讨会（2009 ICML Workshop on Learning Feature Hierarchies）；

• 2011年国际机器学习大会关于语音和视觉信息处理中学习架构、表示和最优化的研讨会（2011 ICML Workshop on Learning Architectures，Representa-tions，and Optimization for Speech and Visual Information Processing）；

• 2012年ICASSP（International Conference on Acoustics，Speech and Signal Processing，国际声学，语音与信号处理会议）关于在信号和信息处理中深度学习应用的研讨会（2012 ICASSP Tutorial on Deep Learning for Signal and Infor-mation Processing）；

• 2012年国际机器学习大会关于学习表示的研讨会（2012 ICML Work-shop on Representation Learning）；

• 2012年IEEE《音频、语音和语言处理》（T-ASLP，1月）会刊中有关语音和语言处理中深度学习专栏（2012 Special Section on Deep Learning for Speech and Language Processing in IEEE Transactions on Audio，Speech，and Lan-guage Processing（T-ASLP，January））；

• 2010，2011和2012年NIPS关于深度学习和无监督特征学习的研讨会（2010，2011，and 2012 NIPS Workshops on Deep Learning and Unsupervised Fea-ture Learning）；

• 2013年NIPS关于深度学习和输出表示学习的研讨会（2013 NIPS Workshops on Deep Learning and on Output Representation Learning）；

• 2013年IEEE《模式分析和机器智能》（T-PAMI，9月）的杂志中有关学习深度架构的特刊（2013 Special Issue on Learning Deep Architectures in IEEE Transactions on Pattern Analysis and Machine Intelligence（T-PAMI，September））；

• 2013年关于学习表示的国际会议（2013 International Conference on Learning Representations）；

• 2013年国际机器学习大会关于表示学习面临的挑战研讨会（2013 ICML Workshop on Representation Learning Challenges）；

• 2013年国际机器学习大会关于音频、语音和语言处理中深度学习的研讨会（2013 ICML Workshop on Deep Learning for Audio，Speech，and Language Processing）；

• 2013年ICASSP关于语音识别中的新型神经网络以及相关应用专栏（2013 ICASSP Special Session on New Types of Deep Neural Network Learning for Speech Recognition and Related Applications）

本书的作者一直从事深度学习的研究，也组织或参与过上述中的一些重要会议以及特刊的编写工作。要特别提出的是，本书作者频频受邀在众多重要会议上对深度学习进行专题报告，而本书的部分内容也是基于这些报告内容整理而成的。

在开始详细介绍深度学习的内容之前，我们有必要先了解一些基本概念，下面是一些与深度学习密切相关的概念和描述：(www.xing528.com)

•定义1：“机器学习是一类利用多个非线性信息处理层来完成监督或者无监督的特征提取和转化，以及模式分析和分类等任务的技术。”

•定义2：“深度学习是机器学习的子领域，它是一种通过多层表示来对数据之间的复杂关系进行建模的算法。高层的特征和概念取决于低层的特征和概念，这样的分层特征叫做深层，其中大多数模型都基于无监督的学习表示。”（2012年3月维基百科对深度学习的定义。）

•定义3：“深度学习是机器学习的子领域，它是基于多层表示的学习，每层对应一个特定的特征、因素或概念。高层概念取决于低层概念，而且同一低层的概念有助于确定多个高层概念。深度学习是基于表示学习的众多机器学习算法中的一员。一个观测对象（比如一张图片）可以用很多种方式表示（如像素的一个向量），但是有的表示则可以使基于训练样本的学习任务变得更容易（如判定某张图像是否为人脸图像）。这一研究领域试图解决一个问题：哪些因素可以产生更好的表示，以及对于这些表示应该如何学习。”（2013年2月维基百科对深度学习的定义。）

•定义4：“深度学习是机器学习的一系列算法，它试图在多个层次中进行学习，每层对应于不同级别的抽象。它一般使用人工神经网络，学习到的统计模型中的不同层对应于不同级别的概念。高层概念取决于低层概念，而且同一低层的概念有助于确定多个高层概念。”（2013年10月维基百科对深度学习的最新定义。）

•定义5：“深度学习是机器学习研究的一个新领域，它的出现将机器学习向人工智能这一目标进一步拉近。深度学习是对多层表示和抽象的学习，它使一些包括如图像、声音和文本的数据变得有意义。”（参看网址：https：//github.com/lisa-lab/DeepLearningTutorials）

应该注意的是，本书所讨论的深度学习是使用深度结构来对信号和信息进行处理，而不是对信号或信息的深度理解，尽管在有的情况下这两个方面可能会比较相似。在教育心理学中，是这样定义深度学习的：“深度学习是描述学习的一种方法，其特点是：主动参与、内在激励和个人对意义的探索。”（http：//www.blackwellreference.com/public/tocnode？id=g9781405161251_chunk_g97814051612516_ss1-1）我们应该注意将深度学习与教育心理学中的这些被滥用的术语区别开来。

在上述多个不同的高层描述中有两个重要的共同点：（1）都包含多层或多阶非线性信息处理的模型；（2）都使用了连续的更高、更抽象层中的监督或无监督学习特征表示的方法。深度学习是包括神经网络、人工智能、图模型、最优化、模式识别和信息处理的交叉领域，它今天之所以如此受欢迎，有三个重要原因：其一，芯片处理性能的巨大提升（比如，通用图形处理器）；其二，用于训练的数据爆炸性增长；其三，近来，机器学习和信号/信息处理研究有了很大进展，这些都使深度学习方法可以有效利用复杂的非线性函数和非线性的复合函数来学习分布和分层的特征表示，并且可以充分有效地利用标注和非标注的数据。

近年来活跃在机器学习领域的研究机构包括众多高校，比如多伦多大学、纽约大学、加拿大蒙特利尔大学、斯坦福大学、加州大学伯克利分校、加州大学、伦敦大学学院、密歇根大学、麻省理工学院、华盛顿大学，还有一些企业，如微软研究院（从2009年开始）、谷歌（大概从2011年开始）、IBM研究院（大概从2011年开始）、百度（从2012开始）、Facebook（从2013年开始）、IDIAP研究所、瑞士人工智能研究所等。参看网址：http：//deeplearning.net/deep-learning-research-groups-and-labs/

这些研究机构将深度学习方法成功地用于计算机领域的众多应用中，其中包括：计算机视觉、语音识别、语音搜索、连续语音识别、语言与图像的特征编码、语义话语分类、自然语言理解、手写识别、音频处理、信息检索、机器人学，甚至有一个关于分子生物学的研究指出在深度学习方法的引领下发现了新的药物^[237]。

本书在最后一部分列出了一些参考文献，如果需要了解这个领域的最新进展，推荐到以下网址获取：

• http：//deeplearning.net/reading-list/

• http：//ufldl.stanford.edu/wiki/index.php/UFLDL_Recommended_Readings

• http：//www.cs.toronto.edu/～hinton/

• http：//deeplearning.net/tutorial/

• http：//ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial