深度学习经典之AlexNet模型

AlexNet网络结构分为单通道和双通道，如图13.2所示。

图13.2　AlexNet模型结构

Alex在2012年提出的AlexNet网络结构模型开启了神经网络的应用热潮，并赢得了2012届图像识别大赛的冠军，使CNN成为在图像分类上的核心算法模型。从图13.2（b）可以看出该模型分为上下两组通道，可同时进行卷积处理，其优点是可以利用两台GPU服务器并行进行模型训练。

①Input输入层。输入为224×224×3的三通道RGB图像，为方便后续计算，实际操作中通过padding做预处理，把图像变成227×227×3。

②C1卷积层。该层包括卷积操作、Max Pooling、LRN归一化模式等环节。卷积层由96个feature map组成，每个feature map由11×11卷积核在stride=4下生成，输出feature map为55×55×48×2，其中55=（227-11）/4+1，48为分在每个GPU上的feature map数，2为GPU个数。

激活函数采用ReLU。Max Pooling：采用stride=2且核大小为3×3（文中实验表明采用2×2的非重叠模式的Max Pooling相对更容易过拟合，在top 1和top 5下的错误率分别高0.4%和0.3%），输出feature map为27×27×48×2，其中27=（55-3）/2+1，48为分在每个GPU上的feature map数，2为GPU个数。

LRN模式按邻居数设置为5做归一化，最终输出数据为归一化后的：27×27×48×2。

③C2卷积层。该层同样包括卷积操作、Max Pooling、LRN归一化模式等环节。卷积层由256个feature map组成，每个feature map由5×5卷积核在stride=1下生成，为使输入和卷积输出大小一致，需要做参数为2的padding，输出feature map为27×27×128×2，其中27=（27-5+2×2）/1+1，128为分在每个GPU上的feature map数，2为GPU个数。

激活函数采用ReLU。

Max Pooling：采用stride=2且核大小为3×3，输出feature map为13×13×128×2，其中13=（27-3）/2+1，128为分在每个GPU上的feature map数，2为GPU个数。

LRN模式按邻居数设置为5做归一化，最终输出数据为归一化后的：13×13×128×2。

④C3卷积层。该层包括卷积操作和LRN归一化，这层不做Pooling。输入为13×13×256，因为这一层两个GPU会做通信，即图中虚线交叉部分。

卷积层：之后由384个feature map组成，每个feature map由3×3卷积核在stride=1下生成，为使输入和卷积输出大小一致，需要做参数为1的padding，输出feature map为13×13×192×2，其中13=（13-3+2×1）/1+1，192为分在每个GPU上的feature map数，2为GPU个数。(www.xing528.com)

激活函数采用ReLU。最终输出数据为归一化后的：13×13×192×2。

⑤C4卷积层。该层包括卷积操作和LRN归一化，这层不做Pooling。卷积层由384个feature map组成，每个feature map由3×3卷积核在stride=1下生成，为使输入和卷积输出大小一致，需要做参数为1的padding，输出feature map为13×13×192×2，其中13=（13-3+2×1）/1+1，192为分在每个GPU上的feature map数，2为GPU个数。

激活函数采用ReLU。最终输出数据为归一化后的：13×13×192×2。

⑥C5卷积层。该层由卷积操作和Max Pooling组成。卷积层由256个feature map组成，每个feature map由3×3卷积核在stride=1下生成，为使输入和卷积输出大小一致，需要做参数为1的padding，输出feature map为13×13×128×2，其中13=（13-3+2×1）/1+1，128为分在每个GPU上的feature map数，2为GPU个数。

激活函数采用ReLU。

Max Pooling：采用stride=2且核大小为3×3，输出feature map为6×6×128×2，其中6=（13-3）/2+1，128为分在每个GPU上的feature map数，2为GPU个数。

最终输出数据为归一化后的：6×6×128×2。

⑦F6全连接层。该层为全连接层+Dropout。使用4 096个节点，激活函数采用ReLU。采用参数为0.5的Dropout操作，最终输出数据为4 096个神经元节点。

⑧F7全连接层。该层为全连接层+Dropout。使用4 096个节点，激活函数采用ReLU。采用参数为0.5的Dropout操作，最终输出为4 096个神经元节点。

⑨输出层。该层为全连接层+Softmax。使用1 000个输出的Softmax，最终输出为1 000个分类。