介绍深度学习主流框架

Hinton的Deep Belief Network思想以及其弟子Yann Lecun的卷积神经网络思想，其根本还是继承自传统神经网络，但上世纪80年代之后，神经网络思想逐渐衰落，仅有Hinton包括其弟子在内的一小部分学者仍然坚持从事神经网络方面的研究。

为何深度学习的思想和方法能够得以如此迅速而大幅度的进步，几乎在一夜之间从无人问津变得炙手可热？主要有两个因素在推动：一是现代计算机运算能力的大幅提高，CPU性能逐年大幅提高，GPU并行计算的长足进步，都给深度学习的模型训练带来了便利；二是互联网时代大规模数据的收集和利用，工业界的各大互联网巨头，因其所处领域的优势，能够掌握非常大量的数据，为深度神经网络的参数训练提供了足够的数据基础。所以深度学习并不是横空出世，而是厚积薄发。

深度学习研究的热潮持续高涨，各种开源深度学习框架也层出不穷，现在主流的深度学习框架近十来种，其中包括TensorFlow、Caffe8、Keras9、CNTK10、Torch711、MXNet12、Leaf13、Theano14、DeepLearning415、Neon17及Lasagne16等。从运算能力和训练数据的利用效能方面，目前Caffe、TensorFlow、Keras及Torch应用得更为广泛，见表5－1所示。这些框架涵盖神经网络结构设计、训练数据处理、图像数据I／O、网络参数训练、结果测试等深度学习研究的具体过程的方方面面，大大降低了深度学习理论到实践之间的距离；同时这些框架代码编写规范、效率普遍比较高，也避免了重复模块开发的浪费。

表5－1　各个开源框架在GitHub上的数据统计(www.xing528.com)

表5－2　主流深度学习框架对比图

注：以上两表的数据来源于InfoQ微信公众号（作者黄文坚、唐源）。