经典的卷积神经网络模型

①LeNet。第一个成功的卷积神经网络应用是Yann LeCun在20世纪90年代实现的。它已经被成功应用在银行系统，用来识别支票上的手写数字，还被应用在邮政系统识别邮政编码等。

②AlexNet。AlexNet卷积神经网络在计算机视觉领域中受到欢迎，它由Alex Krizhevsky，Ilya Sutskever和Geoff Hinton实现。AlexNet在2012年的ImageNet ILSVRC竞赛中夺冠，性能远远超出第二名（16%的top5错误率，第二名是26%的top5错误率）。这个网络的结构和LeNet非常类似，但是更深更大，并且使用了层叠的卷积层来获取特征（之前通常是只用一个卷积层并且在其后马上跟着一个下采样层）。

③ZFNet。Matthew Zeiler和Rob Fergus发明的网络在ILSVRC 2013比赛中夺冠，它被称为ZFNet（Zeiler & Fergus Net的简称）。它通过修改结构中的超参数来实现对AlexNet的改良，具体说来就是增加了中间卷积层的尺寸，让第一层的步长和滤波器尺寸更小。(www.xing528.com)

④GooLeNet。ILSVRC 2014的胜利者是谷歌Szeged等实现的卷积神经网络。它主要的贡献就是实现了一个奠基模块，能够显著地减少网络中参数的数量（AlexNet中有60 M，该网络中只有4 M）。还有，该工作中没有使用卷积神经网络顶部使用全连接层，而是使用了一个平均下采样，把大量不是很重要的参数都去除掉了。GooLeNet还有几种改进的版本，最新的一个是Inception-v4。

⑤VGGNet。ILSVRC 2014的第二名是Karen Simonyan和Andrew Zisserman实现的卷积神经网络，现在称其为VGGNet。它主要的贡献是展示出网络的深度是算法优良性能的关键部分。他们最好的网络包含了16个卷积/全连接层。网络的结构非常一致，从头到尾全部使用的是3×3的卷积和2×2的下采样。他们的预训练模型是可以在网络上获得并在Caffe中使用的。VGGNet不好的一点是它耗费更多计算资源，并且使用了更多的参数，导致更多的内存占用（140 M）。其中绝大多数的参数都是来自第一个全连接层。后来发现这些全连接层即使被去除，对性能也没有什么影响，这样就显著降低了参数数量。