深度学习算法：基础与神经网络发展

（一）深度学习的定义与特点

深度学习是机器学习研究的一个新方向，源于对人工神经网络的进一步研究，通常采用包含多个隐含层的深层神经网络结构。

1.深度学习的定义

深度学习算法是一类基于生物学对人脑进一步认识，将神经一中枢一大脑的工作原理设计成一个不断迭代、不断抽象的过程，以便得到最优数据特征表示的机器学习算法；该算法从原始信号开始，先做低层抽象，然后逐渐向高层抽象迭代，由此组成深度学习算法的基本框架。

2.深度学习的一般特点

一般来说，深度学习算法具有如下特点：

（l）使用多重非线性变换对数据进行多层抽象。该类算法采用级联模式的多层非线性处理单元来组织特征提取以及特征转换。在这种级联模型中，后继层的数据输入由其前一层的输出数据充当。按学习类型，该类算法又可归为有监督学习，例如分类（classification）；无监督学习，例如模式分析（pattern analysis）。

（2）以寻求更适合的概念表示方法为目标。这类算法通过建立更好的模型来学习数据表示方法。对于学习所用的概念特征值或者说数据的表示，一般采用多层结构进行组织，这也是该类算法的一个特色。高层的特征值由低层特征值通过推演归纳得到，由此组成了一个层次分明的数据特征或者抽象概念的表示结构；在这种特征值的层次结构中，每一层的特征数据对应着相关整体知识或者概念在不同程度或层次上的抽象。

（3）形成一类具有代表性的特征表示学习（learning representation）方法。在大规模无标识的数据背景下，一个观测值可以使用多种方式来表示，例如一幅图像、人脸识别数据、面部表情数据等，而某些特定的表示方法可以让机器学习算法学习起来更加容易。所以，深度学习算法的研究也可以看作是在概念表示基础上，对更广泛的机器学习方法的研究。深度学习一个很突出的前景便是它使用无监督的或者半监督的特征学习方法，加上层次性的特征提取策略，来替代过去手工方式的特征提取。

3.深度学习的优点

深度学习具有如下优点：

（l）采用非线性处理单元组成的多层结构，使得概念提取可以由简单到复杂。

（2）每一层中非线性处理单元的构成方式取决于要解决的问题；同时，每一层学习模式可以按需求调整为的有监督学习或无监督学习。这样的架构非常灵活。有利于根据实际需要调整学习策略，从而提高学习效率。

（3）学习无标签数据优势明显。不少深度学习算法通常采用无监督学习形式来处理其他算法很难处理的无标签数据。现实生活中，无标签数据比有标签数据存在更普遍。因此，深度学习算法在这方面的突出表现，更凸显出其实用价值。

（二）深度学习基础及神经网络(www.xing528.com)

深度学习与人工智能的分布式表示和传统人工神经网络模型有十分密切的关系。

1.深度学习与分布式表示

分布式表示是深度学习的基础，其前提是假定观测值由不同因子相互作用。深度学习采用多重抽象的学习模型，进一步假定上述的相互作用关系可细分为多个层次：从低层次的概念学习得到高层次的概念，概念抽象的程度直接反映在层次数目和每一层的规模上。贪婪算法常被用来逐层构建该类层次结构，并从中选取有助于机器学习更有效的特征。

2.深度学习与人工神经网络

人工神经网络受生物学发现的启发，其网络模型被设计为不同节点之间的分层模型。训练过程是通过调整网络参数和每一层中的权重，使得网络输入特征数据时，其输出的网络计算结果与已有的样本观测结果一致或者说误差达到可容忍的程度。这样的网络常被称为“训练好”的；对于还没有发生的结果，自然没有样本观测数据，但此时人们往往希望提前知道这些结果的分布规律。此刻，若将合法数据输入“训练好”的网络，网络的输出就有理由被认为是“可信的”，或者说，与将要发生的真实结果之间误差会很小。从而实现了“预测”功能。类似地，也可以实现网络对数据的“分类”功能。许多成功的深度学习方法都涉及了人工神经网络，所以，不少研究者认为深度学习就是传统人工神经网络的一种发展和延伸。

人工神经网络受生物学发现的启发，其网络模型被设计为不同节点之间的分层模型。训练过程是通过调整网络参数和每一层中的权重，使得网络输入特征数据时，其输出的网络计算结果与已有的样本观测结果一致或者说误差达到可容忍的程度。这样的网络常被称为“训练好”；对于还没有发生的结果，自然没有样本观测数据，但此时人们往往希望提前知道这些结果的分布规律。此刻，若将合法数据输入“训练好”的网络，网络的输出就有理由被认为是“可信的”，或者说，与将要发生的真实结果之间误差会很小。从而实现了“预测”功能。类似地，也可以实现网络对数据的“分类”功能。许多成功的深度学习方法都涉及了人工神经网络，所以，不少研究者认为深度学习就是传统人工神经网络的一种发展和延伸。

【注释】

[1]李征宇，王晓丽，刘占波.计算机类高等学校应用型本科“十三五”规划教材　人工智能及其应用[M].哈尔滨：哈尔滨工程大学出版社，2017：122.

[2]李征宇，付杨，吕双十.人工智能导论[M].哈尔滨：哈尔滨工程大学出版社，2016：134.

[3]李征宇，王晓丽，刘占波.计算机类高等学校应用型本科“十三五”规划教材　人工智能及其应用[M].哈尔滨：哈尔滨工程大学出版社，2017：123.

[4]杨埙，罗勇.物联网技术概论[M].西安：西安电子科技大学出版社，2015：142.

[5]杨埙，罗勇.物联网技术概论[M].西安：西安电子科技大学出版社，2015：142.

[6]梁静国.决策支持系统与决策知识发现[M].哈尔滨：哈尔滨工程大学出版社，2007：235.

[7]王昆翔.智能理论与警用智能技术[M].北京：中国人民公安大学出版社，2009：224.