首页 理论教育 神经网络中的权值共享原理及实现

神经网络中的权值共享原理及实现

时间:2023-06-28 理论教育 版权反馈
【摘要】:通过局部感知后参数仍然过多,那么就可以采用第二种方法,即权值共享。在上面的局部连接中,每个神经元都对应100个参数,一共1000000个神经元,如果这1000000个神经元的100个参数都是相等的,那么参数数目就变为100了。怎么理解权值共享呢?可以把这100个参数看成是提取特征的方式,该方式与位置无关。如图3.2所示,展示了一个3×3的卷积核在5×5的图像上做卷积的过程。图3.2 卷积运算过程

神经网络中的权值共享原理及实现

通过局部感知后参数仍然过多,那么就可以采用第二种方法,即权值共享。在上面的局部连接中,每个神经元都对应100个参数,一共1000000个神经元,如果这1000000个神经元的100个参数都是相等的,那么参数数目就变为100了。

怎么理解权值共享呢?可以把这100个参数(也就是卷积操作)看成是提取特征的方式,该方式与位置无关。这其中隐藏的原理是:图像的一部分的统计特性与其他部分是一样的。这也意味着在这一部分学习的特征也能用在另一部分上,所以对于这个图像上的所有位置,都能使用同样的学习特征。

更直观一些,当从一个大尺寸图像中随机选取一小块,比如8×8作为样本,并且从这个小块样本中学习到了一些特征,这时可以把从这个8×8样本中学习到的特征作为探测器,应用到这个图像的任意地方中去。特别是,可以用从8×8样本中所学习到的特征与原本的大尺寸图像作卷积,从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值。

如图3.2所示,展示了一个3×3的卷积核在5×5的图像上做卷积的过程。每个卷积都是一种特征提取方式,就像一个筛子,将图像中符合条件(激活值越大越符合条件)的部分筛选出来。(www.xing528.com)

978-7-111-57073-8-Chapter03-2.jpg

图3.2 卷积运算过程

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈