基于学习的超分辨率方法在高倍放大系数下更强

超分辨率是指根据多张低分辨率图像重建出高分辨率图像的过程，在不同的应用中，输入的低分辨率图像可以是某个静态场景的图像序列［20，24，29］（序列中的图像间存在相对运动）或者是一段动态场景的视频［19，23］。这些超分辨率方法通常是基于“重建约束”的：认为低分辨率图像是待求高分辨率图像在不同成像模型参数（几何变换、点扩散函数、下采样和成像噪声）下的观察值，高分辨率图像在一组合理的模型参数的作用下应该得到其中某一个观察值。这种基于重建约束的超分辨率问题在数学上是病态的，因此通常在贝叶斯框架下，通过加入某种关于高分辨率图像的先验信息来对该问题加以规则化，如高斯马尔科夫随机场（Gaussian Markov Random Field）、Huber MRF等。这些先验都是关于高分辨率图像的平滑性先验约束，因此图像中的高频成分并不能得到较好恢复。

目前，低质量人脸图像的超分辨率重建引起了人们越来越多的研究兴趣，这主要是来源于以下几个领域中的一些急迫的需求拉动。

（1）分布在机场、海关、公路、银行和一些公共场所等处的视频监控设备，由于设备的成本限制及成像距离远，通常得到的人脸图像分辨率很低（如几十个像素或更低），而且模糊不清，这使得后续的人脸识别——不管是计算机自动识别还是人工识别都变得过于困难。

（2）在线视频应用中，发送端可以只发送低分辨率人脸图像，而接收端通过本地安装的超分辨率软件实时重建出高分辨率图像，这样可以大为降低对带宽的要求。

（3）对重要历史图片的修复与分辨率增强。

（4）新闻出版业中巨幅画像的出版印刷。(www.xing528.com)

然而，除了需要克服普通图像超分辨率重建中的固有困难外，人脸图像的超分辨率还面临着一些特有的困难，这主要源于两个方面：第一，人脸图像是图像空间中一类有着高度结构化特性的特殊子类［109－113］，而人类对自身的面容又是如此熟悉，以至于少许的重建误差（如对称性）都会引起人们视觉上的注意，而对于普通的纹理图像，很可能就会被忽略掉；第二，不同于普通物体，人脸从根本上说是非平面和非刚性的，这使得人脸图像的超分辨率重建还面临着姿态、表情、光照、遮挡等方面的变化所带来的严峻挑战。

可以说，低质量人脸图像的超分辨率重建是计算机视觉、模式识别和图像处理等领域中的一项颇具挑战性的任务，还有许多理论问题仍待解决，同时也是一个有着很强应用需求的课题。

近年来，由于在高倍放大系数（4～16）下具备更强的高频信息恢复能力，基于学习的超分辨率方法受到研究人员广泛的关注。这种方法的基本原理是：通过样本学习为高－低分辨率图像对建立一个共生模型（直接存储为图像块，或者通过其他图像表达方式），进而为低分辨率图像“添加”出高频细节。不同的学者应用了不同的学习方法：Freeman等［36，37］应用马尔科夫网络来学习高—低分辨率图像对之间的关系，Hertzman［35］则通过多尺度自回归方法来获得图像对之间的局部相似性。他们的方法适用于普通图像的超分辨率问题，对于特定图像类的超分辨率问题，如人脸图像，如果能在特定图像域内充分挖掘先验知识，基于学习的超分辨率方法能获得更好的重建结果。Baker等［33，34］提出了一种专用于人脸图像的超分辨率方法——Face Hallucination，通过利用以金字塔形式组织的正面人脸图像的梯度分布先验，在最大后验概率的框架下完成超分辨率重建。由于重建过程是逐像素进行的，因此容易缺失一些人脸的全局性约束，如对称性和亮度的一致性等。Liu等［40］建立了一个两步重建方法：首先用一个全局参数模型根据低分辨率输入图像估计出高分辨率人脸图像，然后用一个局部非参数马尔科夫网络模型来补偿第一步中重建的高分辨率图像与原始高分辨率图像间的残差。但是第一步中的全局参数模型需要已知降晰函数，而且第二步中的马尔科夫网络也需要复杂的计算。Wang等［41］在训练样本的特征脸子空间中通过特征变换的方法重建高分辨率人脸图像，然而该方法只是应用全局线性拟合来完成重建，因此局部细节不清晰。黎智辉［114］结合了人脸图像全局相似性和局部特征相似性的约束，在不同尺度上利用局部相似性指导搜索最优解，然后将局部结构重建的人脸图像投影到由人脸图像确定的特征人脸空间。

上述基于学习的方法中存在的一个共同问题是：在样本学习过程中没有充分利用人脸图像的局部相似性。这里的“局部”有两层含义：一是从单张人脸图像来看，在一个局部邻域内，像素间的相关性较强，而不同区域间的相关性很弱；二是从人脸图像的总体来看，人脸图像除了公共特征外，不同类型的人脸还存在个体差异，这些差异仅存在于样本空间中的少数彼此相近的样本中。因此，我们认为：一个好的样本学习方法应该能够根据输入的测试图像自适应地选择出与之相关的样本，并且利用这些样本中的相关区域动态地挖掘出局部像素块的本质特征。

将LPP与主成分分析（PCA）结合起来，本章提出了一种新的正面人脸图像超分辨率重建的自适应学习方法：首先利用图像插值方法将低分辨率图像插值到高分辨率图像网格上，这部分蕴含在低分辨率图像中的低频信息是可以通过插值技术精确再现的，不需要通过学习的方法来恢复；为了能够高效快速地恢复出图像中缺失的高频成分，本章提出基于LPP的自适应样本选择学习，在人脸局部子流形上分析人脸图像局部结构的本质特征，选择出与输入图像块最相似的样本块作为学习样本集合，通过基于像素块的特征变换方法恢复出人脸图像中各个局部的高频信息，最后与插值出的低频图像一起合成出一张高分辨率人脸图像。