深度学习与深度合成的发展历史

人工智能诞生于1956年的达特茅斯会议，而早在1943年，美国心理学家麦卡洛克（W.McCulloch）和数学家皮兹（W.Pitts）就提出了一个简单的神经元模型（MP模型），开启了人工神经网络的研究。不过，人工神经网络在此之后十多年的研究进展缓慢。直到1957年，著名人工智能专家弗兰克·罗森布莱特（Frank Rosenblatt）提出了感知机模型（Perceptron），并提出了感知器参数的训练方法，正式开启了人们探索人工神经网络的热潮。感知器是最早且结构最简单的一种人工神经网络模型，是一种采用阈值型激活函数的前向人工神经网络，尽管只含有一层神经元，但通过训练网络权值，感知器可以根据一组输入响应得到1或0的目标输出。但受限于其只具有一层神经网络，感知器的分类能力非常有限。1969年，作为人工智能研究的早期奠基者之一的马文·明斯基（Marvin Minsky）撰文指出感知机器型的局限性：只能够处理简单的二元线性分类，它不能处理线性不可分问题，比如异或问题。在此后的将近20年里，人工智能虽然产生了很多不同的研究方向和研究成果，但人工神经网络研究陷入了低潮。

直到20世纪80年代，深度学习之父杰弗里·辛顿与其合作者提出了一种适用于多层感知器的反向传播算法——BP算法，解决了两层神经网络的复杂计算问题和马文·明斯基提出神经网络无法解决的异或问题。BP算法让人工神经网络再次引起了人们的广泛关注。人工神经网络在20世纪80年代末到90年代初风靡一时，演化成为可以与人工智能符号学派和人工智能行为学派并驾齐驱的连接主义学派。然而，由于当时计算机的硬件性能不足导致运算能力跟不上，以及当神经网络的层数进一步增加时，BP算法会产生“梯度消失”等问题，这使得人工神经网络的发展再次受到了很大的质疑，尤其是人工神经网络的不可解释性成为众矢之的。90年代中期，众多学者提出了以SVM、Logistic Regression、Maximum En-tropy Model和朴素贝叶斯模型等为代表的浅层机器学习算法，并成功应用于分类、回归问题，加之这类浅层机器学习算法的原理比神经网络模型具有更好的可解释性，支持向量机等算法成为20世纪90年代到21世纪初机器学习的宠儿，人工神经网络的发展再次进入了瓶颈期。

然而，仍有一些人仍在默默坚持神经网络的研究方向。1998年，杨·乐昆（Yann LeCun）提出了深度学习常用模型之一的卷积神经网络（Convoluted Neural Network, CNN）。2006年，杰弗里·辛顿（Geoffrey Hinton）与其他学者于2006年分别在Neural Computation与Science上联合发表了A Fast Learning Algo-rithm for Deep Belief Nets与Reducing the Dimensionality of Data with Neural Networks的论文，正式提出了深度学习的概念及深度置信网络模型，并且给出了“梯度消失”问题的解决方案。2009年，约书亚·本吉奥（Yoshua Bengio）提出了深度学习另一常用模型：堆叠自动编码器（Stacked Auto-Encoder, SAE），采用自动编码器来代替深度置信网络的基本单元。2011年借助辛顿的深度网络模型，人们首先在语音领域取得了突破。谷歌研究院和微软研究院的研究人员先后将深度学习应用到语音识别，使识别错误率下降了20%～30%。

深度学习真正引起世人关注是在2012年的ImageNet图像识别大赛中，由杰弗里·辛顿（Geoffrey Hinton）的学生阿莱克斯·克里兹维斯基（Alex Krizhevsky）带领的小组采用深度学习模型AlexNet一举夺冠，将分类错误率从25%降到了17%。AlexNet是一个深层次的卷积神经网络，采用ReLU激活函数，极大地解决了梯度消失问题，并采用GPU极大地提高了模型的运算速度。此后，这项竞赛每年都由深度卷积神经网络所主导。2014年，Google开始在ImageNet发力。当时在Google担任软件工程师的克里斯蒂安·赛格蒂（Christian Szegedy）提出了一种Inception的结构，并基于这种结构搭建了一个22层的卷积神经网络GoogleNet，达到了6.66%错误率的成绩。2015年，微软亚洲研究院的何恺明提出了深度残差网络（Deep Residual Networks），把网络层数做到了152层，并在Ima-geNet的分类比赛中取得了3.57%的错误率，超过了接收过训练的人在ImageNet数据集上对图片进行分类的成绩（5.1%）。此时ImageNet的分类任务被认为是一个已经完全解决的问题。自2012年以来，深度卷积神经网络已成为所有计算机视觉任务的首选算法。一般来说，它在所有感知任务上都有效。与此同时，深度学习也在许多其他类型的问题上得到应用，比如自然语言处理，它已经在大量应用中完全取代了SVM与决策树等机器学习算法。(www.xing528.com)

深度学习技术在世界大赛的脱颖而出又进一步吸引了学术界和工业界对于深度学习领域的关注。随着深度学习技术的不断进步以及计算机硬件算力的不断提升，2014年，Facebook基于深度学习技术的DeepFace项目，在人脸识别方面的准确率已经能达到97%以上，跟人类识别的准确率几乎没有差别。这样的结果也再一次证明了深度学习技术在图像识别方面的一骑绝尘。2016年，谷歌公司基于深度强化学习开发的AlphaGo以4:1的比分战胜了国际顶尖围棋高手李世石，深度学习的热度一时无两。后来，AlphaGo又接连和众多世界级围棋高手过招，均取得了完胜。这也证明了在围棋界，基于深度学习技术的机器人已经超越了人类。2017年，基于深度强化学习技术的AlphaGo升级版AlphaGo Zero横空出世。其采用“从零开始”“无师自通”的学习模式，以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋，它还精通国际象棋等其他棋类游戏，可以说是真正的棋类“天才”。此外在这一年，深度学习相关技术也在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以，也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。

回顾历史，深度学习的发展离不开GPU等硬件性能的提升，大数据的收集和各类深度学习算法的提出，更离不开以辛顿为首的科学家的坚持。2019年3月27日，美国计算机学会宣布，深度学习的三位创造者杰弗里·辛顿（Geoffrey Hinton）、杨·乐昆（Yann LeCun）和约书亚·本吉奥（Yoshua Bengio）共同获得了2019年的图灵奖，以表彰他们在深度学习领域的突出贡献（图1-5）。三位科学家发明了深度学习的基本概念，在科学研究中取得了卓越的成果，也在工程领域做出了重要突破，帮助深度学习技术获得实际应用，给人工智能带来了重大突破。

图1-5　2019年图灵奖获得者