先看一下AlexNet, Hinton的学生Alex Krizhevsky和Ilya Sutskever在2012年提出了一种非常重要的卷积神经网络模型AlexNet，该模型在ImageNet竞赛领先第二名10%的准确率夺得了冠军，吸引了学术界与工业界的广泛关注，引发了深度学习，尤其是卷积神经网络在计算机视觉领域中“井喷”式的研究。
ImageNet是斯坦福大学的李飞飞团队创建的一个大规模图像识别数据库，里面包含了超过1400万张1000种类别的图片。2010年以来，每年利用ImageNet举办一次大规模视觉识别挑战赛（Large Scale Visual Recognition Challenge, ILS-VRC）。这个比赛也被誉为计算机视觉领域的年度奥林匹克竞赛，后续很多优秀的深度神经网络结构都是从该比赛中诞生的。
图5-15所示为AlexNet的网络结构，共由5层卷积层和3层全卷积层组成，最后一个全连接层通过Softmax函数计算最终结果，作为输入图片在1000个类别的分类结果。在当时的硬件条件下，为方便同时使用两片GPU并行网络训练，AlexNet的分成了上下两路进行训练，第三层卷积和全连接层处上、下两路信息可交互共享。
图5-15 AlexNet网络结构(www.xing528.com)
在AlexNet中，借助GPU将原本需数周甚至数月的网络训练过程大大缩短至5～6天。在揭示卷积神经网络强大能力的同时，这无疑也大大缩短了深度网络和大型网络模型开发研究的周期并降低了时间成本。缩短了迭代周期，正是得益于此，数量繁多、立意新颖的网络模型和应用才能像雨后春笋一般层出不穷。
此外，AlexNet开创性地引入了ReLU激活函数、数据增强（data augmentation）和随机失活（dropout）等训练技巧，不仅保证了模型性能，而且为后续卷积神经网络的构建提供了模板。此后的卷积神经网络大体都遵循了AlexNet网络构建的基本思路。
AlexNet使用8层神经网络以top1分类误差16.4%的成绩摘得2012年ILS-VRC的桂冠。2013年，ZFNet在AlexNet的基础上调整了超参数，使top1的误差降低到11.7%而夺冠。2014年，Simonyan和Zisserman设计了层次更深的VGG-Net。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
