LeNet-5模型的卷积神经网络优化方案

LeNet-5是一种经典的卷积神经网络结构。LeNet-5诞生于1994年，是最早的深层卷积神经网络之一，开创了现代卷积神经网络的研究，推动了深度学习的发展。最初被用于手写数字识别，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。LeNet-5卷积神经网络的结构如图14.4所示。

图14.4　LeNet-5卷积神经网络的结构

不包含输入，LeNet-5共有7层，即由2个卷积层、2个下抽样层（池化层）、3个全连接层组成。每层都包含可训练参数，每个层有多个feature map，每个feature map通过一种卷积滤波器提取输入的一种特征，然后每个feature map有多个神经元。其中：

①INPUT为输入层。输入32×32格式大小的图片。

②C1层是一个卷积层。输入图片大小为32×32，卷积核大小为5×5，卷积核种类为6个，输出feature map大小为28×28（32-5+1），神经元数量为28×28×6。

可训练参数为：（5×5+1）×6（每个滤波器5×5=25个unit参数和一个bias参数，一共6个滤波器），连接数为（5×5+1）×6×28×28。

③S2层是一个下采样层。输入区域为28×28，采样区域为2×2，即以2×2为单位进行下采样，采样种类为6种，采样方式如下：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，结果通过Sigmoid激活函数得到特征映射图。

神经元数量为14×14×6，可训练参数为2×6（和的权+偏置），连接数有（2×2+1）×6×14×14。输出特征图feature map的大小为14×14（28/2）。S2中每个特征图的大小是C1中特征图大小的1/4。

④C3层也是一个卷积层。输入为S2中所有6个或者几个特征map组合，卷积核大小为5×5，卷积核种类为16个，输出特征图feature map的大小为10×10。(www.xing528.com)

C3中的每个特征map是连接到S2中的所有6个或者几个特征map的，表示本层的特征map是上一层提取到的特征map的不同组合。

存在的一个方式：C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。

可训练参数为：6×（3×25+1）+6×（4×25+1）+3×（4×25+1）+（25×6+1）=1 516，连接数：10×10×1 516=151 600。

⑤S4层是一个下采样层。输入为10×10，采样区域为2×2，采样种类有16种，采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，结果通过Sigmoid激活函数得到特征映射图。

输出feature map大小为5×5（10/2），神经元数量为5×5×16=400，可训练参数为2×16=32（和的权+偏置），连接数为16×（2×2+1）×5×5=2 000。

S4中每个特征图的大小是C3中特征图大小的1/4。

⑥C5层是一个卷积层。输入为S4层的全部16个单元特征map（与S4全相连），卷积核大小为5×5，卷积核种类为120，输出feature map大小为1×1×（5-5+1），可训练参数/连接数为120×（16×5×5+1）=48 120。

⑦F6层全连接层。输入为C5 120维向量，计算方式：计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过Sigmoid函数生成，可训练参数为84×（120+1）=10 164。