【摘要】:图8.4 DBN结构DBN的灵活性使得它的拓展比较容易。DBN并没有考虑到图像的二维结构信息,因为输入是简单地从一个图像矩阵一维向量化的。DBN并没有明确地处理观测变量为时间序列的情况,虽然目前已经有这方面的研究,例如堆叠时间RBM,时态卷积网络。这种序列学习的应用,给语音信号处理问题带来了未来的研究方向。
DNN有两种基本结构:卷积神经网络(Convolutional Neural Networks,CNN)和深度置信网络(Deep Belief Network,DBN)。
从前几章已经发现,AE隐藏层和RBM能作为有效的特征探测器,但是很少直接使用它们。实际数据比前面的规则数据集更加复杂,所以,需要寻找到一些方法间接使用这个特征检测器。
幸运的是,发现这些RBM可以堆叠(Stack)形成深度网络,这个网络可以使用经典的反向传播算法,逐层贪婪训练,以帮助克服梯度弥失和过度拟合问题(见图8.4)。
(www.xing528.com)
图8.4 DBN结构
DBN的灵活性使得它的拓展比较容易。一个拓展就是加入卷积的DBN(Convo-lutional Deep Belief Networks,CDBN)。DBN并没有考虑到图像的二维结构信息,因为输入是简单地从一个图像矩阵一维向量化的。而CDBN就是考虑到了这个问题,它利用邻域像素的空域关系,通过一个称为卷积RBM的模型来达到生成模型的变换不变性,而且可以容易地变换到高维图像。DBN并没有明确地处理观测变量为时间序列的情况,虽然目前已经有这方面的研究,例如堆叠时间RBM,时态卷积网络。这种序列学习的应用,给语音信号处理问题带来了未来的研究方向。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。