首页 理论教育 深度学习与神经网络的关系及应用

深度学习与神经网络的关系及应用

时间:2023-06-21 理论教育 版权反馈
【摘要】:从广义上说深度学习的网络结构是多层神经网络的一种。而深度学习中最著名的CNN,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑对信号的分级处理方式。深度学习与传统的神经网络之间既有相同的地方也有很多不同的地方。二者的相同之处在于深度学习采用了与神经网络相似的分层结构,系统是由输入层、隐层(多层)、输出层组成的多层网络,只有相邻层节点之间有连接,同一层以及跨层节点之间相互无连接。

深度学习与神经网络的关系及应用

从广义上说深度学习网络结构是多层神经网络的一种。传统意义上的多层神经网络只有输入层、隐藏层和输出层。其中隐藏层的层数根据需要而定,没有明确的理论推导来说明到底多少层合适。而深度学习中最著名的CNN,在原来多层神经网络的基础上,加入了特征学习部分,这部分是模仿人脑信号的分级处理方式。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层,而且加入的是一个层级。

深度学习与传统的神经网络之间既有相同的地方也有很多不同的地方。二者的相同之处在于深度学习采用了与神经网络相似的分层结构,系统是由输入层、隐层(多层)、输出层组成的多层网络,只有相邻层节点之间有连接,同一层以及跨层节点之间相互无连接。这种分层结构是比较接近人类大脑的结构的[10]。两者的不同之处在于神经网络采用BP算法调整参数,即采用迭代式算法来训练整个网络。随机设定初值,计算当前网络的输出,然后根据当前输出和样本真实标签之间的差去改变前面各层的参数,直到收敛;比较容易过拟合,参数较难调整,而且需要不少技巧;训练速度较慢。而深度学习则采用逐层训练机制,原因在于如果采用BP机制,对于一个深层网络(7层以上),残差传播到最前面的层将变得很小,会出现梯度消失。(www.xing528.com)

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈