深度神经网络及其应用

神经网络可以分为两种，一种是生物神经网络，另一种是人工神经网络。

生物神经网络一般指生物的大脑神经元、细胞、触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。

人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型，在工程与学术界也常简称为“神经网络”(NNs)或“类神经网络”。

人工神经网络是一种模仿生物神经网络行为特征，进行分布式并行信息处理的数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工智能背后的秘密就是基于人工神经网络的机器学习，即机器通过学习具有“人类的部分智能”。比如人工智能中的“人脸识别”，如图7.6所示，就是机器基于学习、训练，进而实现人脸自动识别的过程。

图7.6　人工神经网络的人脸识别应用

课外拓展：神经网络模型

图7.7　感知机模型图

最简单的神经网络是“感知机”模型，它是一个有若干输入（Input）和一个输出（Output）的模型，如图7.7所示是一个3输入的感知机模型，x1、x2、x3为输入。

在一个具有m个输入的感知机模型中，中间变量z和输入x1、x2、…、xi之间存在一个线性关系，即

如果一个神经元激活函数为

则根据z的取值，该神经元输出结果为1或者－1。(www.xing528.com)

感知机模型只能用于二元分类，且无法学习比较复杂的非线性问题，因此在很多领域无法使用，因此，在感知机模型上做如下扩展：

①加入隐藏层（hidden layer）。隐藏层可以有多层，增强了模型的表达能力，如图7.8所示。增加了这么多隐藏层，模型的复杂度也增加了。

②输出层的神经元可以不止一个，可以有多个输出，这样模型可以灵活地应用于分类回归，以及其他的机器学习领域，比如降维和聚类等。如图7.9所示，输出层有4个神经元。

图7.8　加入隐藏层的ANNs模型

图7.9　具有多个神经元输出的ANNs模型

有很多隐藏层的神经网络可以称为深度神经网络（Deep Neural Networks：DNNs）。多层神经网络和深度神经网络DNNs其实是指一个东西，DNNs有时也叫作多层感知机（Multi-Layer Perception：MLP）。

按不同层的位置划分，DNNs内部的神经网络层可以分为三类——输入层、隐藏层和输出层，如图7.10所示，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。

图7.10　深度神经网络示意图

DNNs内部层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。

虽然DNNs看起来很复杂，但是从小的局部模型来说，其功能还是和感知机一样，即可用一个线性关系和一个激活函数来表示。由于DNNs层数多，则线性关系系数ωi和偏移bi的数量也很多。

除此之外，还有卷积神经网络（Convolutional Neural Networks：CNNs）和循环神经网络（Recurrent Neural Networks：RNNs），大家了解即可。