理解降维技术：AE的非线性优势与应用

通过隐藏层学习h_w，b（x），可以重建原始输入x，如果隐藏层神经元的数量大于输入层神经元数量，那么隐藏层的输入映射到一个更高的维度。相似地，如果隐藏神经元的数量少于输入神经元的数量，那么AE的隐藏层用如此方法，本质上是压缩输入属性，使重构更有效。

压缩指原始输入属性可以用更低维度的属性表示。例如，当AE有400个输入神经元和60个隐藏结点，原始的400维输入会被近似地“重建”为来自隐藏层的60维输出。如果使用隐藏层的输出作为一个网络的输入代表，那么AE扮演了一个特征提取的作用。

事实证明，AE可以实现多种降维技术。一个线性AE可以学习数据的特征向量相当于主成分分析运用到输入上。非线性AE能够发现更复杂的主成分。在涉及笔迹和人脸识别的降维任务中，非线性AE优于主成分分析。

因此，AE可以用来学习有着最小重建损失的数据的压缩（或扩大）。正如深度学习学者杰弗里·辛顿（Hinton）所指出的“自20世纪80年代以来，已经显而易见了，通过深度AE的反向传播对于非线性降维非常有效，如果能提供尽可能快的计算机、足够大的数据集和初始权值，将会足够接近一个好的解决方案。现在三个条件都满足了。不像非参数方法，AE在数据和编码空间之间给出了双向映射，随着时间和空间的变化，训练样本都被线性地训练和微调，所以，它们可以应用到非常大的数据集。”(www.xing528.com)

最著名的降维技术是主成分分析（Principal Component Analysis，PCA）。PCA旨在利用降维的思想，把多指标转化为少数几个综合指标（即主成分），其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。这种方法在引进多方面变量的同时将复杂因素归结为几个主成分，使问题简单化，同时得到的数据更加科学和有效。在实际问题研究中，为了全面、系统地分析问题，必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。主要方法有特征值分解、SVD、NMF等。

主成分分析法是一种数学变换的方法，它把给定的一组相关变量通过线性变换转换成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分；第二变量的方差次大，并且和第一变量不相关，称为第二主成分。依次类推，I个变量就有I个主成分。

如果输入属性不包含结构，那么降维是徒劳的。例如，如果输入的属性是完全随机的，那么降维是不可行的。有效的降维需要属性是相关的或者在某些程度上是有联系的。换句话说，需要一些可以用来降维数据的结构。如果结构不存在，那么使用AE来降维很可能会失败。