深度合成：DenseNet

ResNet中的跨层连接设计提出以后，ResNet的变种网络层出不穷，各有特点，网络性能也有一定的提升。本节介绍的最后一个网络结构是2017年CVPR（IEEE Conference on Computer Vision and Pattern Recognition）最佳论文Densely Connected Convolutional Networks提出的DenseNet（Dense Convolutional Network），论文中提出的DenseNet借鉴了Inception网络结构，提出了一种全新具有密集连接的卷积神经网络，如图5-20所示。

图5-20　DenseNet完整架构

DenseNet主要由稠密块（dense block）和过渡层（transition layer）构建。前者定义了输入和输出的连结方式，后者则用来控制通道数量。图5-21是DenseNet的一个稠密块示意图，其中任何两层之间都直接连接，也就是说，网络每一层（主要是BN—ReLU—Conv）的输入包括前面所有层输出的并集，而该层所学习得到的特征图也会被直接传给其后面所有层作为输入，这也是它被称为“稠密连接”的原因。一个DenseNet则由多个这种稠密块组成，每个稠密块之间的层称为过渡层，由BN—Conv—averagePooling组成，需要注意的是只有在稠密块内部的各层间存在稠密连接，不同的稠密块之间没有稠密连接。(www.xing528.com)

图5-21　稠密块

DenseNet网络结构并不复杂，却非常有效，在CIFAR数据集上的测试结果全面超越了ResNet。可以说DenseNet借鉴了ResNet的连接方式，并在此上做了更加创新的工作，缓解梯度消失问题，加强特征传播效率，而且极大地减少了参数量，使得网络性能进一步提升。