无监督特征学习与重构过程

深度学习最简单的一种方法是利用人工神经网络（Artificial Neural Network，ANN）的特点，人工神经网络本身就是具有层次结构的系统，如果给定一个神经网络，假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。自动编码（Auto Encoder，AE）网络就是一种尽可能复现输入信号的神经网络。为了实现这种复现，AE必须捕捉可以代表输入数据的最重要的因素，就像主成分分析（Principal Component Analysis，PCA）那样，找到可以代表原信息的主要成分。

在本章之前的神经网络中（见图5.1a），输入的样本是有标签的，网络根据当前输出和实际值之间的差来改变前面各层的参数，直到收敛。但现在只有无标签数据，也就是图5.1b。那么这个误差怎么得到呢？

图5.1 两种网络对比

如图5.2所示，将信号input输入到编码器（encoder），就会得到一个特征，这个特征就是输入的一个表示，那么怎么知道这个特征表示的就是输入呢？可以再加一个解码器，这时候解码器会输出一个信息，如果输出的信息和一开始的输入信号是很像的（理想情况下就是一样的），就可以相信这个特征是正确的。所以，可以通过调整编码器和解码器的参数，使得重构误差最小，得到输入信号的第一个表示。因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到的（见图5.3）。(www.xing528.com)

图5.2 无监督特征学习过程

图5.3 重构过程