稀疏编码模型的优化方法

稀疏编码是受哺乳动物视觉系统中简单细胞感受野的启发而提出的模型，即视觉皮层神经元仅对处于其感受野中特定的刺激信号(如特定方向边缘等)做出响应。也就是说，外界信息经过编码之后仅有一小部分神经元激活，外界刺激在视觉神经系统的表示具有很高的稀疏性，这种稀疏性符合生物学的低功耗特性。

给定一组基向量A＝[a1，a2，…，aM]，将输入样本x∈RD表示为这些基向量的线性组合:

其中，基向量的系数z＝[z1，z2，…，zM]称为输入样本x的编码，基向量A也称为字典(dictionary)。

编码的目的是对D维空间中的样本x找到其在新的特征空间中的表示(或称投影)，编码的各个维度应该是相互独立的，并且可以重构样本。为了得到稀疏编码，需要找到一组“过完备”的基向量(即M＞D)进行编码。过完备基向量之间往往会存在冗余性，因此对于一个输入样本来说，会存在多种有效编码，需要加上稀疏性限制，从而得到唯一的稀疏编码。

给定一组N个输入向量x(1)，x(2)，…，x(N)，其稀疏编码的目标函数定义为:(www.xing528.com)

其中，Z＝[z(1)，z(2)，…，z(N)]；ρ(·)为稀疏性衡量函数，可用l0范数、l1范数、对数函数或指数函数来定义；η为超参数，用于控制稀疏性强度。对于一个向量z∈RM，稀疏性定义为非零元素的比例。可见，z越稀疏，ρ(z)越小。

稀疏编码的训练过程常采用交替优化的方法进行。

(1)固定基向量A，对每个输入x(n)，计算其对应的最优编码:

式中，第二项为正则化项，λ为正则化项系数。