首页 理论教育 深度信念网络的分析介绍,

深度信念网络的分析介绍,

时间:2023-06-24 理论教育 版权反馈
【摘要】:深度信念网络本质上是一个概率生成模型,利用受限玻尔兹曼机无监督的自训练得到较好的参数以初始化权重,提供了一种预测模型[26]。图9-4 深度信念网络结构在DBN中,包含了可视层和隐含层,分别表示为v=[v1,v2,…为保证算法的可靠性,采用对比散度算法对网络进行训练,其本质上是一种逐层的训练方法。此外,考虑到训练效率和样本空间的限制,本书经过实验,将网络中隐含层的数量设为3 层,各层节点设为9,其有效性也在实验中得到了验证。

深度信念网络的分析介绍,

深度信念网络本质上是一个概率生成模型,利用受限玻尔兹曼机(Restricted Boltzmann Machines,RBM)无监督的自训练得到较好的参数以初始化权重,提供了一种预测模型[26]。其优点是能够克服随机初始化易陷入局部最小和训练时间过长的缺点,且能产生较好的参数初始值。考虑到无线网络中带宽、能量等的限制,采用的基本结构如图9-4 所示。

图9-4 深度信念网络结构

在DBN中,包含了可视层和隐含层,分别表示为v=[v1,v2,…,vn],h =[h1,h2,…,hm]。根据文献[27],对输入层和其他层分别采用了Gaussian-Bernoulli RBM和Bernoulli-Bernoulli RBM,其节点的能量函数分别为

其中,wji表示第i个可视节点与第j个隐含节点间权重值,偏移量。在上式基础上进一步得到(v,h)的联合概率分布如下:(www.xing528.com)

其中,Z=∑vhe{-E(v,h;θ)}。同时,RBM中可视单元与隐含单元的节点值可根据文献[27]求得,其参数更新的方法也在该文献中进行了详细的分析。

为保证算法可靠性,采用对比散度算法对网络进行训练,其本质上是一种逐层的训练方法。其参数更新法则如下[27]

式中,σ()和η分别表示激活函数和学习速率,分别表示输入值和重构值。此外,考虑到训练效率样本空间的限制,本书经过实验,将网络中隐含层的数量设为3 层,各层节点设为9,其有效性也在实验中得到了验证。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈