首页 理论教育 深度学习的历史与进展

深度学习的历史与进展

时间:2023-06-29 理论教育 版权反馈
【摘要】:事实上,在深度学习出现之前,人工智能已经经历了两次热潮。而今,随着深度学习的出现,人工智能又迎来了“春天”。正是这两个因素催生了当下的深度学习大潮。从深度学习的发展历史来看,深度学习是相对最容易利用新增计算能力的机器学习方法。

深度学习的历史与进展

如今,机器学习作为人工智能的核心已经应用到各个分支,如专家系统、自动推理自然语言理解、模式识别、计算机视觉、智能机器人领域,而在发展的过程中,更是融合了统计学、神经科学信息论控制论、计算复杂性理论等学科的知识。总的来说,机器学习发展分为两个部分,浅层学习(Shallow Learning)和深度学习(Deep Learning)。

浅层学习起源于上世纪20年代人工神经网络反向传播算法(Back-propagation)的发明,使得基于统计的机器学习算法大行其道。2006年,神经网络研究领域领军者Hinton提出了神经网络Deep Learning算法,使神经网络的能力大大提高,并在顶尖学术刊物《Science》上发表了题为《Reducing the Dimensionality of Data with Neural Networks》的文章,开启了深度学习在学术界和工业界的浪潮

这篇文章有两个主要的信息:一方面,很多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;另外一方面,深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wise pre-training)来有效克服,在这篇文章中,逐层初始化是通过无监督学习实现的。

2015年,为纪念人工智能概念提出60周年,LeCun、Bengio和Hinton推出了深度学习的联合综述:深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示,这些方法在许多方面都带来了显著的改善,包括最先进的语音识别、视觉对象识别、对象检测和许多其他领域,例如药物发现和基因组学等;深度学习能够发现大数据中的复杂结构,它是利用BP算法来完成这个发现过程的,BP算法能够指导机器如何从前一层获取误差而改变本层的内部参数,这些内部参数可以用计算表示;深度卷积网络在处理图像、视频、语音和音频方面带来了突破,而递归网络在处理序列数据,比如文本和语音方面表现出了闪亮的一面。

从技术上来看,深度学习就是“很多层”的神经网络。而神经网络实质上是多层函数嵌套形成的数学模型。事实上,在深度学习出现之前,人工智能已经经历了两次热潮。在此期间,日本于1981年提出第五代计算机研究计划,并为此投资了540亿日元,然而,最终这一计划还是以失败告终。这也意味着人工智能的流派之一符号主义方法进入了瓶颈期。而今,随着深度学习的出现,人工智能又迎来了“春天”。与30年前相比,现在的人工智能有两点不同:一是大数据,二是概率统计方法的引入。正是这两个因素催生了当下的深度学习大潮。

同时,深度学习所解决的问题却有一定的范围限制,即在一定的应用场景里,在给定的数据库下,有了可利用的大数据,计算机的感知信息处理程度才有可能达到人类的水平。正因为它的局限性,从狭义的人工智能走向通用人工智能,就成为后深度学习时代所要致力的问题。从深度学习的发展历史来看,深度学习是相对最容易利用新增计算能力的机器学习方法。

深度学习将在以下各个方面显示它的重要性,并且将在这些方面影响到人们的生活

(1)预测低像素图片在高像素环境下的呈现,并且加上缺失的细节。

(2)使得文字转语音系统与真人声音几乎无差异。(www.xing528.com)

(3)可以创作一首古典乐曲,你会以为它是由真人创作的。

(4)可以将你自由选择的一幅图片转化成你喜欢的画家的创作风格。

(5)可以生成很多字体。

(6)可以通过预测一幅画缺失部分应该有的样子,来自动补全这幅画。

(7)可以训练机器人像人类一样行走或者训练机器人像人类一样抓取物体。

(8)可以理解并为图片添加描述,就像人类一样。

(9)无人驾驶

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈