基于权重的人脸去模糊算法

本节介绍基于稀疏表示模型的人脸去模糊算法，记为WNLSS算法。该算法通过研究人脸图像的特有性质，创新性地将权重编码和非局部自相似先验知识引入人脸图像去模糊算法中。该算法从字典学习、数据保真项和正则项三个方面出发，对现有人脸去模糊算法进行改进。WNLSS算法既不依赖于显著性边缘检测过程，也无须引入同类别的参考图像，从而有效地解决了现有人脸图像去模糊算法的所存在的问题。接下来，针对字典学习、正则项和数据保真项这三个方面的改进进行详细的介绍。

1.WNLSS算法的字典学习

上述公式的物理含义为：对于每一个数据点Xk，n而言，只有与其对应的一个子字典Φk被自适应地选择用于表达该数据点。只有该子字典对应的稀疏编码系数Ck不为0，其他子字典对应的稀疏编码系数均为0，即Ck-2=Ck-1=Ck+1=Ck+2=0这种字典学习方法不仅使得WLNSS模型的解向量趋于稳定，同时减小了WNLSS模型在求解过程的计算代价。

2.WNLSS算法的正则项

WNLSS算法利用基于非局部自相似图像块的稀疏编码系数αz来约束模糊图像稀疏编码系数αB的优化，从而获得更接近隐式图像稀疏编码系数αI的αB。

由公式（2-4）和公式（2-5）可知，当观测图像的稀疏编码系数αB越接近隐式图像的稀疏编码系数αI时，去模糊算法的效果就越好。但是对于无法得到隐式图像的人脸图像去模糊任务而言，αI是未知的。由于人脸图像具有对称性和高度的结构化，无论是清晰还是模糊的人脸图像，其中都拥有大量的非局部自相似图像块，如图2-3所示。但现有基于稀疏表示模型的去模糊算法均忽略了人脸图像中非局部自相似的特殊性质，导致稀疏表示模型中正则项缺乏约束力，难以获得有效的稀疏编码系数。因此，利用基于非局部自相似图像块先验知识的稀疏编码系数αz来约束模糊图像稀疏编码系数αB，可以获得更有效的稀疏编码系数。

图2-3　人脸图像中存在大量非局部自相似图像块

根据稀疏表示模型的定义^Zi=Φi·αz，i，利用非局部自相似性质得到的稀疏编码系数αz，i可以表示如下：

明显地，为了使重建后的图像块^Zi尽可能地接近Ii，就需要使αz，i尽可能地与αB，i相似，即最小化αz，i与αB，i的差值：minαB‖αB-αz‖p（2-11）

式中，p可以设为1或2。当p=2时，最小化‖αB-αz‖2只能用于约束两者的差异尽可能的小；而当p=1时，最小化‖αB-αz‖1不仅可以约束两者的差异尽可能的小，还可以对αB施加稀疏约束。如上文所述，稀疏约束不仅使公式（2-11）与图像特性更为契合，还进一步减小计算存储代价。因而，本书设置p=1。

3.WNLSS算法的数据保真项

本小节将权重编码技术引入稀疏表示模型的数据保真项中，进一步减少了基于局部图像块的重建残差（residual），避免了某些具有大残差的局部图像块在去模糊过程中产生“鬼影”（ghost）或是“振铃效应”（ringing visual artifact），从而进一步提升了WNLSS的去模糊效果。

观测图像和恢复图像之间的残差直接影响着去模糊算法的性能。每一个去模糊后的图像块与其对应的观测图像块之间的重建残差越小时，去模糊恢复的效果也就越好。但现有基于稀疏表示模型的去模糊算法只是简单地为所有图像块赋以相同的权重，即把所有图像块对于重建残差的贡献视为一样。这样就导致了残差大的区域与残差小的区域采用相同的操作，导致原本难以重建的人脸区域（对应着残差大的区域）会出现“鬼影”（ghost）或是“振铃效应”（ringing visual artifact）。为了进一步减少图像块级别的重建残差（residual），将权重编码技术引入到稀疏表示模型的数据保真项（data fidelity term）中。

假设一幅人脸图像中，以每个像素点为中心，构建大小为m1×m2的图像块，共计N块。则一幅图像的残差向量可定义为

式中，ei=Bi-k*ΦαB，i。e1，e2，…，eN可以被视为一系列服从高斯分布的独立同分布样本。

为了最小化一幅人脸图像中所有图像块的残差之和：(www.xing528.com)

为每个图像块辅以一个权重，即

根据经验可以得出如下结论：为了最小化一幅人脸图像中所有图像块的残差之和，应该为小残差的图像块赋以大权重，而为大残差的图像块赋以小权重。也就是说，权重大小与残差的幅值是成反比例的。设置残差与权重的关系如下：

式中，c0为算法的超参数，用于控制残差与权重之间的关系。综上所述，基于权重编码的数据保真项可写为如下形式：

式中，W为对角矩阵，即Wii=wi。

4.WNLSS算法的优化

本节针对WNLSS算法的目标函数设计了一种迭代的优化算法，通过多次迭代在数值上逼近目标函数的全局最优解。

如前所述，WNLSS算法主要由字典学习、数据保真项和正则项三个模块组成。其中，WNLSS的字典是在WNLSS算法优化之前就已经学习得到。因此，在WNLSS算法的优化过程中，字典被认为是已知量。通过结合基于非局部自相似图像块的正则化项（即公式（2-11））和基于权重编码的数据保真项（即公式（2-16）），WNLSS模型的目标函数可以表示为如下形式：

式中，第一个优化项的物理含义为：利用字典Φ和稀疏编码系数αB重建得到的信号应与观测信号B的残差尽可能小，从而尽可能多地保留观测信号B中的信息；第二个优化项的物理含义为：人脸图像中大量的非局部自相似图像块能够很好地为当前图像块提供有利于恢复出清晰图像的信息。因此，αB应与非局部自相似先验知识学习得到的稀疏编码系数αz尽可能接近，从而获得对于模糊图像更准确的稀疏重建系数。

在模糊核k已知且字典Φ通过学习得到的情况下，公式（2-17）可通过迭代的思想进行优化，即固定一个变量的同时优化另一个变量；反之亦然。

固定W，更新αB：当W固定时，上述问题为L0-范数稀疏编码问题。通过迭代再权重策略（iterative re-weighted scheme）求解。该求解过程采用迭代的思路，通过J轮的迭代不断逼近最优解。第j+1轮迭代解可表示为

式中，V为对角矩阵，且在第一轮迭代时可将其初始化为单位矩阵。中间变量V（j）可以表示为

式中，ε为一个小的常数（本文中设为0.001），用于解决求解过程中可能存在的奇异问题（singular problem）。

固定αB，更新W：当已经获得更新后的αB时，根据公式（2-12）可获得残差向量e。然后，根据公式（2-15）即可得到更新后的W。本文基于权重编码的非局部自相似人脸图像去模糊算法的流程如表2-1所示。

表2-1　基于权重编码的非局部自相似人脸图像去模糊算法流程