同机器学习方法一样，深度学习方法也有生成模型与判别模型之分，不同的学习框架下建立的学习模型不同。例如，卷积神经网络就是一种深度判别模型，而深度置信网络就是一种生成模型。
（一）深度置信网络
深度置信网络（DBN）是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P（Observation|Label）和P（Label|Observation）都做了评估；而判别模型仅仅评估了后者，也就是P（Label|Observation）。对深度神经网络应用传统的BP算法时，DBN遇到了以下问题：
1.需要为训练提供一个有标签的样本集；
2.学习过程较慢；
3.不适当的参数选择会导致学习收敛于局部最优解。
DBN由多个受限玻尔兹曼机（Restricted Boltzmann Machines，RBM）层组成，一个典型的DBN结构如图3-6所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。
图3-6 DBN结构
先不考虑最顶部构成一个联想记忆（Associative Memory）的两层，一个DBN的连接是通过自顶向下的生成权值来指导确定的，RBM就像一个建筑块一样，相比于传统和深度分层的Sigmoid信念网络，它更易于连接权值的学习。
最开始的时候，通过一个非监督贪婪逐层方法去预训练获得生成模型的权值，非监督贪婪逐层方法被Hinton证明是有效的，并被其称为对比分歧（Contrastive Divergence）。在这个训练阶段，在可视层会产生一个向量v，通过它将值传递到隐层。反过来，可视层的输入会被随机选择，以尝试去重构原始的输入信号。最后，这些新的可视的神经元激活单元将前向传递重构隐层激活单元，获得h（在训练过程中，首先将可视向量值映射给隐单元，然后由隐单元重建可视单元，再将这些新的可视单元映射给隐单元，这样就可获取新的隐单元。执行这种反复步骤叫做吉布斯采样）。这些后退和前进的步骤就是我们熟悉的吉布斯采样，而隐层激活单元和可视层输入之间的相关性差别就是权值更新的主要依据。
因为只需要单个步骤就可以接近最大似然学习，训练时间会显著减少。增加进网络的每一层都会改进训练数据的对数概率，我们可以理解为越来越接近能量的真实表达。这个有意义的拓展和无标签数据的使用，是任何一个深度学习应用的决定性的因素。
DBN框架如图3-7所示。
图3-7 DBN框架
在最高两层，权值被连接到一起，这样更低层的输出将会提供一个参考的线索或者关联给顶层，顶层就会将其联系到它的记忆内容。而在分类任务中我们最关心的是最终的判别性能。
在预训练后，DBN可以利用带标签的数据以BP算法对判别性能做调整。在这里，一个标签集将被附加到顶层（推广联想记忆），通过一个自下向上学习到的识别权值获得一个网络的分类面。这个性能会比单纯的BP算法训练的网络好。这可以很直观地解释，DBN的BP算法只需要对权值参数空间进行局部搜索，这相比于前向神经网络来说，训练较快，而且收敛的时间也较少。
DBN的灵活性使得它的拓展比较容易。一个拓展就是卷积DBN（Convolutional Deep Belief Network，CDBN）。DBN并没有考虑到二维结构信息，因为输入是简单地从一个图像矩阵一维向量化的。而CDBN就考虑到了这个问题，它利用邻域像素的空域关系，通过一个被称为卷积RBM的模型区达到生成模型的变换不变性，而且可以容易地变换到高维图像。
目前，和DBN有关的研究包括堆叠自动编码器，即用堆叠自动编码器来替换传统DBN里面的RBM。这就使得可以通过同样的规则来训练产生深度多层神经网络架构，但它缺少层的参数化的严格要求。与DBN不同，自动编码器使用判别模型，这样这个结构就很难采样输入采样空间，这就使得网络更难捕捉它的内部表达。但是，降噪自动编码器却能很好地避免这个问题，并且比传统的DBN更优秀。它通过在训练过程中添加随机的污染并堆叠产生场泛化性能。训练单一的降噪自动编码器的过程和RBM训练生成模型的过程一样。（二）卷积神经网络
卷积神经网络（CNN）是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现得更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者其他形式的变形具有高度不变性。
CNN受早期的延时神经网络（TDNN）的影响。延时神经网络通过在时间维度上共享权值降低学习复杂度，适用于语音和时间序列信号的处理。
CNN是第一个真正成功训练多层网络结构的学习算法。它利用空间关系减少需要学习的参数数目，以提高一般前向BP算法的训练性能。CNN作为一个深度学习架构提出是为了最小化数据的预处理要求。在CNN中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元访问到最基础的特征，例如定向边缘或者角点。
1.卷积神经网络的结构(www.xing528.com)
卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成（图3-8）。
图3-8 卷积神经网络
输入图像和三个可训练的滤波器及可加偏置进行卷积，滤波过程如图3-8所示，卷积后在C1层产生三个特征映射图，然后对特征映射图中每组的4个像素进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再经过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入传统的神经网络，得到输出。
一般，C层为特征提取层，每个神经元的输入与前一层的局部感受域相连，并提取该域局部特征，该局部特征被提取后，它与其他特征间的位置关系也随之确定下来；S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核大小的Sigmoid函数作为卷积网络的络激活函数，使得特征映射具有位移不变性。
此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数，降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层（C层）都紧跟着一个用来求局部平均与二次提取的计算层（S层），这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。
2.训练过程
神经网络用于模式识别的主流是存监督学习网络，无监督学习网络更多的是用于聚类分析。对于有指导的模式识别，由于任一样本的类别是已知的，样本在空间的分布不再依据其自然分布倾向来划分，而是根据同类样本在空间的分布及同类样本之间的分离程度找到一种适当的空间划分方法，或者找到一个分类边界，使得不同类样本分别位于不同的区域内。这就需要一个长时间且复杂的学习过程，不断调整用以划分样木空间的分类边界的位置，使尽可能少的样本被划分到非同类区域中。
卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有监督训练，所以其样本集是由形如（输入向量，理想输出向量）的向量对构成的。所以这些向量对，都应该来源于网络即将模拟的系统的实际“运行”结果。它们可以是从实际运行系统中采集来的。在开始训练前，所有的权值都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。实际上，如果用相同的数去初始化权值矩阵，则网络无能力学习。
训练算法与传统的BP算法相似，主要分为两个阶段，共4个步骤。
（1）向前传播阶段
①从样本集中取一个样本（X，Yp），将X输入网络。
②计算相应的实际输出OP。
在此阶段，信息从输入层经过逐级变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算（实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果）：
Op=Fn（...（F2（F1（XpW（1））W（2））...）W（n））
（2）向后传播阶段
①计算实际输出OP与相应的理想输出Yp的差。
②按极小化误差的方法反向传播调整权值矩阵。
3.卷积神经网络的优点
卷积神经网络主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者，由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
流的分类方式几乎都是基于统计特征的，这就意味着在进行分辨前必须提取某些特征。然而，显式的特征提取并不容易，在一些应用问题中也并非总是可靠的。卷积神经网络避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器。它可以直接处理灰度图片，能够直接用于处理基于图像的分类。
卷积网络较一般神经网络在图像处理方面有如下优点：①输入图像和网络的拓扑结构能很好地吻合；②特征提取和模式分类同时进行，并同时在训练中产生；③权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
