深度学习：历史回顾与未来展望

本书后续章节按照以下结构进行编排：

在第2章中，我们将简要对深度学习的历史加以回顾，主要从以下三个问题入手：第一，深度学习对语音识别技术有哪些影响。第二，这一重大科技革命是如何开始的。第三，它是如何获得并保持如此强大动力的。

第3章讲述了深度学习中绝大多数研究所使用的三元分类法。其中包括：有监督、无监督和混合深度学习网络。在分类任务中，混合深度学习网络利用无监督学习（或称为预训练）来辅助下一个阶段的监督学习。有监督和混合深度神经网络通常都具有同一类型的深度网络体系或结构，但是无监督深度网络的结构却往往不同。

第4～6章分别集中介绍了深度结构的三种主流类型，这三种类型都来源于第3章中所提到的三元分类法。在第4章中，深度自编码器作为无监督深度学习网络的经典方法，我们将详细对其进行介绍并加以讨论。虽然其中巧妙地利用到了反向传播这样的监督学习算法，但是在学习的过程中并没有使用类别标签信息，而是将输入信号本身作为“监督”信号。

第5章作为混合深度网络分类的主要实例讲解部分，详细介绍了这种用无监督生成式的预训练方法来提高监督训练效率的深度学习网络。在训练数据有限，并且没有其他合适的正则化方法（如dropout）可利用的情况下，混合深度学习网络是很有用的。这种独特的预训练方法是以受限玻尔兹曼机和本章所要学习的深度学习网络为基础的，它开启了深度学习在语音识别和其他信息处理任务中的早期应用，具有很重要的历史意义。除了回顾综述以外，我们也讨论了混合深度学习网络的后续发展和近期出现的一些不同观点。

第6章详细讨论了基于三元分类法的判别式、有监督深度神经网络的一些具体实例——基本的深度堆叠式网络及其扩展。这类深度网络的工作原理与深度神经网络在很多方面都有所不同。需要特别指出的是，它们在建立宏观深度网络的层或模块时采用目标作为标签来简化学习算法。另外，深度网络中的部分假设，如模块中输出单元呈线性的假设，也简化了网络的学习算法，使得我们可以构建和学习比第4章和第5章中网络更丰富的架构。

第7～11章选取了一些深度学习在信号和信息处理各个领域中成功的典型应用。第7章回顾了深度学习在语音识别、语音合成和音频处理中的应用，文献综述中围绕语音识别这一主要议题的几个突出问题划分了几个小节。(www.xing528.com)

第8章主要介绍了深度学习在语言模型和自然语言处理中的最新应用成果，其中强调了将符号实体（如词语）转化为低维连续向量的最新进展。

第9章主要集中于对深度学习在信息检索（包含网页搜索）中的突出应用的介绍。

第10章涉及了深度学习在计算机视觉领域中有关图像目标识别的几大应用。这一章将深度学习的方法分为两大类：（1）无监督特征学习；（2）端对端的监督学习以及特征间的学习和分类。

第11章主要介绍了深度学习在多模态处理和多任务学习中的几大应用。我们根据输入到深度学习系统中的多模态数据特征将其分为三类。对于语音、文本或图像的单模态数据，本文也回顾了基于深度学习方法的一些多任务学习研究。

最后，第12章对本书内容进行了总结，并对深度学习将面临的挑战和它的发展方向进行了讨论。

本书内容精短，包括了几位作者提供的专题报告，一次是2011年10月APSIPA会议上的报告，另一次是2012年3月ICASSP会议上的报告。另外，本书也根据领域内的进展，提供了大量更新到2014年1月的内容（包括在2013年12月举办的NIPS-2013和IEEE-ASRU-2013两次会议中的一些资料），这些内容主要集中于近几年快速发展的深度学习研究和技术的应用层面。