虽然监督学习被广泛应用于计算机视觉等领域中，但是如果没有足够的标记数据，在实际应用中会有一定的局限性。自动编码器作为一种无监督学习算法模型，在生成、识别、检测等多个领域中，取得出色效果。最简单的自动编码器由单层的编码器和单层的解码器组成，改进的自动编码器包含更加复杂的结构，如二值自动编码器和变分自动编码器。下面将分别对基础的自动编码器模型、二值自动编码器模型和变分自动编码器模型进行简单概述。
1.基础的自动编码器模型
自动编码器的每个隐含层都采用无监督预训练方案进行初始化，解决了深度学习网络中大量连接的隐含层容易导致基于随机初始化的梯度优化陷入僵局的问题，并利用反向传播算法进行迭代优化。如图2-25所示，是自动编码器模型的图形表示。
图2-25 自动编码器模型
在自动编码器编码阶段，隐含层通过学习，得到输入的压缩表示，隐含层中神经元个数表示的是数据压缩的维度。在编码阶段，编码器可以很容易学习到表示输入数据的重要信息。假设模型的输入是x∈R（L×1），其中L表示输入数据的维度。编码过程用函数hW，b（x）示，隐含层的输出为a∈R（m×1），其中m表示神经元的个数。则编码过程的数学表达式为
式中，W∈R（m×L）和b∈R（m×1）是线性变换系数矩阵，即编码器参数。s（·）是激活函数，可以是sigmoid或tanh函数：
在自动编码器的解码阶段，解码器解码隐含层的输出a∈R（m×1），得到重构的数据~x∈R（L×1）。解码过程用函数g~W，~b（a）表示，则解码过程的数学表达式可以写作：
式中，xi表示第i个训练样本。损失函数通过梯度下降算法（Gradient Descent Algorithm）进行迭代优化，不断降低重构误差，从而得到最优的参数和最真实的重构样本。
2.二值自动编码器
在二值自动编码器的优化中，二值编码（B）的优化和编码器与解码器（h与g）的优化是迭代进行的。二值自动编码器的优化函数整体写作：
式中，bi=h（xi）∈{0，1}L，i=1，2，…，n。
（1）（h，g）的优化
编码器h的优化函数为
(www.xing528.com)
公式（2-88）的计算复杂度为（n DL）。同时，B是二值编码，因此，XB T的计算只涉及加法运算，极大简化了计算量。
（2）z的优化
每一个长度为L的编码z的优化都是独立的。由公式（2-85）可知：
虽然，公式（2-89）的优化是一个NP-complete问题，但是，由于L的值通常很小（8～32 bit），公式（2-89）可获得一个较为精确的解。
3.变分自动编码器
变分自动编码器是自动编码器的一种扩展，其编码器的输出是均值和方差。编码器将输入样本进行编码，得到潜在向量，解码器对得到潜在向量进行解码，得到输出。对于变分自动编码器而言，它是通过拟合输入和得到潜在向量的联合输入，间接获得输出。因而，得到潜在向量是输入的一种压缩形式，并包含输入所有的特征信息，可以作为有效的特征，直接用于分类或识别任务。同时，变分自动编码器在隐含层中加入了随机噪声，使得模型对于噪声具有鲁棒性。人脸数据通过变分自动编码器编码，可以得到具有判别性和鲁棒性的压缩特征表示。
假设有样本数据集X={x1，x2，…，xn}，在理想情况下，若能直接获得X的数据分布P（X），则直接从P（X）中采样，便可生成所有可能的X。然而，随着数据量的增大，P（X）将越来越难获得，于是引入隐含变量z，P（X|z）表示由z生成X。若P（z）=N（0，I），先从正态分布中采样得到z，然后由z生成X。因此要生成X，只需要最大化公式（2-90）：
式中，P（X|z；θ）=N（X|μ（z；θμ），∑（z；θ∑））服从高斯分布，而μ均值和方差∑由神经网络计算得到。
事实上，如果z来自随机采样，则绝大多数z是无法生成X的。因此，模型需要对z的采样空间加以限制，即获取能够生成X的z。Q（z|X）表示由X得到能够生成X的z。变分自动编码器用Q（z|X）来逼近真实的后验概率P（z|X）。KL散度用来衡量P（z|X）和Q（z|X）两个分布之间的差别：
移项可得：
公式（2-92）等式的右边便是变分自动编码器的目标函数。其中P（z|X）P（z|X）和Q（z|X）分别由图2-26中的编码器和解码器获得。如果直接从编码器编码得到的均值和方差中采样，会导致网络无法回传优化。因此，采用图2-26中矩形框所示的方法，从正态分布中采样，并乘以均值和方差，将不可回传的采样操作转移到了回传路径外面。
图2-26 变分自动编码器模型
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
