城市遥感影像超分辨率重建方法-学习为基础

基于学习的方法(Freeman et al.，2002)是近年来影像超分辨重建算法的主要研究热点，其主要思想是通过大量样本学习高、低分辨率影像间的映射关系，即通过学习的方式从样本中提取出超分辨率重建的先验知识，以此来恢复低分辨率影像上缺失的高频信息。基于学习的影像超分辨率重建流程如下(图8-13):需要构造对应的高、低分辨率影像库，低分辨率影像作为模型输入，高分辨率影像作为模型输出，为保障训练效率和重建效果，通常需将图像分割成小块，通过对训练样本的学习获得输入与输出间的内在映射联系，再基于这种关系对输入的低分辨率影像进行高分辨率重建，从而达到提高影像的分辨率的目的。

图8-13　基于学习的影像超分辨率流程

目前基于学习的影像超分辨率主要有邻域嵌入方法、稀疏表示方法和深度学习方法，下文将对其进行简要介绍。

1.邻域嵌入方法

邻域嵌入法假设高分辨率影像块与其对应的低分辨率影像块分布在同一流形上，并且具有相同的局部几何结构。在高分辨率影像块样本库中搜索与低分辨率影像块特征最相似的k个近邻块，通过最小化它们的重构误差来确定最优重构权重。利用这一组最优权重将对应的高分辨率影像块线性组合合成最终的高分辨率影像块。邻域嵌入法主要分为三个步骤:

最后将高分辨率影像块进行拼接，得到最终的高分辨率影像。邻域嵌入法的算法流程如图8-14所示。该算法主要包括两部分:训练部分和重建部分。训练部分主要提取高、低分辨率影像块特征，重建部分主要包括近邻块选取、最优权重估计和高分辨率影像求解三部分。

图8-14　邻域嵌入超分辨率重建流程图

基于邻域嵌入的影像超分辨率重建方法的计算复杂度低，并且在较少样本的情况下也能对目标图像进行有效的重建。但是，邻域嵌入法也存在许多不足之处:如近邻块数目的选择、图像块的特征描述、重构权重的估计等。

2.稀疏表示方法

1)图像信号稀疏表示

信号的稀疏性广泛存在于自然图像中，即图像信号可以由少量的基表示(图8-15)。记x∈RN为向量化的图像信号，其稀疏表示模型为

其中，D∈RN×K为过完备字典且K≫N，α∈RM为对应的稀疏系数向量，即α中的大部分元素都为0。当系数足够稀疏时，可用l1范数替代式(8-30)中的l0范数，并同时考虑噪声对信号的影响，目标函数可修正为

其中，ϵ为一个很小的误差阈值。使用拉格朗日算子得到等价目标函数为

通常，过完备字典从样本影像块中学习得到，常用的字典学习方法有正交匹配追踪法(OMP)、k-SVD分解法等。

图8-15　图像中的稀疏性

2)基于稀疏表示的影像超分辨率重建

假设有一组影像块{Xh，Yl}，其中Xh＝(x1，x2，…，xn)是高分辨率影像块的集合，Yh＝(y1，y2，…，yn)是对应低分辨率影像块的集合。对高、低分辨率影像分别进行稀疏分解，有

假如把上面两目标函数联立，用同一个稀疏系数同时表示高、低分辨率影像块，得到

其中，N和M分别为高分辨率影像块和低分辨率影像块向量化后的长度，式(8-35)可进一步合并为(www.xing528.com)

其中

求解上述目标函数训练得到对应的过完备字典Dh和Dl，低分辨率影像块yi关于字典Dl的稀疏表示系数将与高分辨率影像块xi关于字典Dh的稀疏表示系数相同。因此，基于稀疏表示的超分辨率重建流程主要包含三个部分:联合字典训练、低分辨率影像稀疏分解和高分辨率影像重建，如图8-16所示。

图8-16　基于稀疏表示的影像超分辨率重建流程

3.深度学习方法

基于深度学习的方法(王梓欣等，2018)是当前影像超分辨率重建的研究热点，深度学习网络直接学习从低分辨率影像到高分辨率影像的映射关系。当前，基于深度学习的方法主要包含两大类:基于卷积神经网络的超分辨率重建方法和基于对抗生成网络的超分辨率重建方法。

1)基于卷积神经网络的超分辨率重建方法

近年来，卷积神经网络以其强大的非线性表达能力在图像处理中的各个邻域取得了丰硕的成果。基于卷积神经网络的超分辨率重建方法可以利用卷积神经网络端到端地学习低分辨率影像与其对应高分辨率影像间的映射关系，避免了直接的人工特征提取，具有较好的效果与泛化能力。

记深度学习网络为一个函数F，基于卷积神经网络的超分辨率重建方法旨在利用迭代的方式最小化目标函数:

式中，X和Y分别为对应的高、低分辨率影像；Θ为卷积神经网络F的参数。基于卷积神经网络的超分辨率重建方法重点在于设计不同的网络形式，即函数F的具体形式。

目前随着深度学习的发展，用于超分辨率重建的算法被不断提出，如SRCNN(Kim et al.，2016)，ESPCN(Shi et al.，2016)等。SRCNN是深度学习用于超分辨率重建的开山之作。SRCNN的网络结构非常简单，SRCNN首先使用双三次插值将低分辨率图像放大成目标尺寸，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果(图8-17)。我们将三层卷积的结构解释成与传统SR方法对应的三个步骤:图像块的提取和特征表示，特征非线性映射和最终的重建。

图8-17　SRCNN网络结构示意图

ESPCN的核心概念是亚像素卷积层(图8-18)，网络的输入是原始低分辨率图像，通过三个卷积层以后，得到通道数为r2的与输入图像大小一样的特征图像。再将特征图像每个像素的r2个通道重新排列成一个r×r的区域，对应高分辨率图像中一个r×r大小的子块，从而大小为H×W×r2的特征图像被重新排列成rH×rW×1的高分辨率图像。我们理解的亚像素卷积层包含两个过程:卷积层和排序层，即将卷积操作后的低分辨率空间特征通过排序层插值到高分辨率空间。就是说，最后一层卷积层输出的特征个数需要设置成固定值，即放大倍数r的平方，这样总的像素个数就与要得到的高分辨率图像一致，将像素重新排列就能得到高分辨率图。在ESPCN网络中，图像尺寸放大过程的插值函数被隐含地包含在前面的卷积层中，可以自动学习到。由于卷积运算都是在低分辨率图像上进行的，因此效率会较高。

图8-18　ESPCN网络结果示意图

在视频图像的超分辨率重建问题中，相邻几帧具有很强的关联性，上述几种方法都只在单幅图像上进行处理，而VESPCN(Caballero et al.，2017)算法提出使用视频中的时间序列图像进行高分辨率重建，并且能达到实时处理的效率要求。其方法示意图如图8-19所示，主要包括三个方面:一是纠正相邻帧的位移偏差，即先通过运动估计计算位移，然后利用位移参数对相邻帧进行空间变换，将二者对齐；二是把对齐后的相邻若干帧叠放在一起，当作一个三维数据，在低分辨率的三维数据上使用三维卷积，得到的结果大小为r2×H×W；三是利用ESPCN的思想将该卷积结果重新排列得到大小为1×rH×rW的高分辨率图像。

图8-19　VESPCN网络结果示意图

2)基于对抗生成网络的影像超分辨率重建方法

对抗生成网络是新近发展的生成式学习模型，主要用于图像生成任务。对抗生成网络主要包含两部分:生成器和判别器，这两部分都可使用(反)卷积神经网络来实现。生成器的输入是一个向量信号(随机噪声或特征向量等)，输出为一幅影像。判别器的输入为一幅影像，输出为一个0到1的数值。如果判别器输入的是真实图像，则输出1；若输入为假图像(如噪声图像、模糊图像等非自然图像)，则输出为0。生成器和判别器在训练过程中轮流迭代训练，生成器希望生成尽可能真实的图像来迷惑判别器，而判别器则尽可能将真实影像与生成器生成的假影像区分开来。它们的竞争结果导致生成器越来越能够生成逼真的影像，而判别器能尽可能区分真实与虚假的影像。对抗生成网络以其巧妙的对抗学习模式，加之深度卷积神经网络的非线性映射能力，当前已能够生成高度逼真的影像。

借助上述思想，只需要约束所生产高分辨率影像与真实高分辨率影像的差值，很容易将对抗生成网络借用到影像超分辨率重建任务中，从而获得高度清晰与逼真的高分辨率影像。当前，基于对抗生成网络的影像超分辨率重建仍然是最热门、有前景的方向。如2017年SRGAN(Ledig et al.，2017)算法把超分辨率的效果带到了一个新的高度，它基于卷积神经网络采用GAN(Goodfellow et al.，2014)方法进行训练来实现图像的超分辨率重建，同样包含一个生成器和一个判别器。判别器的主体是VGG19，生成器的主体是一连串的残差模块，同时在模型的后部加入了亚像素网络的思想，让图片在最后的网络层才增加分辨率，使得提升分辨率的同时减少了计算量，网络结构如图8-20所示。

此外，研究者又相继提出了各式各样的基于对抗生成网络的影像超分辨率重建网络，取得了惊人的超分辨率重建结果。但是，基于对抗生成网络的影像超分辨率重建方法往往训练耗时较长且有时难以收敛，未来结合更先进、稳定的生成网络训练方法也将是影像超分辨率重建的一个研究方向。

图8-20　SRGAN网络结构示意图