深度波尔茨曼机(Deep Boltzmann Machine,DBM)由多层受限波尔茨曼机(RestrictedBoltzmann Machine,RBM)堆叠而成,而深度信念网络(Deep Belief Network,DBN)则由多层受限波尔茨曼机再加上一层BP网络所构成。由于RBM的训练可分层进行,因此DBM能够有效避免深层网络训练中存在的误差累积传递过长问题。
(一)受限波尔茨曼机的结构
受限波尔茨曼机是一种对称耦合的随机反馈型二值单元神经网络。RBM作为波尔茨曼机(BM)的一种变形,RBM与BM的最大区别是,RBM限制同层节点之间无连接其的基本结构如图8-8所示。单个RBM是一个两层的浅层网络,一层是可见层V,其节点叫可见节点,用于接收输入数据;另一层是隐层H,其节点叫隐节点,起着特征探测器的作用。在RBM中,节点之间的连接方式满足,同层节点之间无连接,层间节点之间为全连接,任意两个相连接的节点都有自身的权重,权重矩阵为W。RBM作为一种二值单元神经网络,其所有节点都是随机二值变量节点,即各节点的取值都只有“0”和“1”两种状态。
图8-8 受限波尔茨曼机结构
(二)深度波尔茨曼机与深度信念网络的结构(www.xing528.com)
深度波尔茨曼机由若干层受限波尔茨曼机堆叠而成,而深度信念网络由多层受限波尔茨曼机再加上一层BP网络所构成。以3层波尔茨曼机为例,其深度波尔茨曼机的基本结构如图8-9所示。在该模型中,前一层波尔茨曼机隐层作为下一层波尔茨曼机的可见层。
图8-9 深度波尔茨曼机结构
深度信念网络DBN也称为深度置信网络,与深度波尔茨曼机在结构上的主要差别是最后一层,其最后一层是BP网络。以两层RBM和一层BP构成的DBN为例,其基本结构如图8-10所示。其中,向上的实箭号为信号传播,向下的虚箭号为误差反向传播。
图8-10 深度信念网络结构
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。