挑战与未解之谜：图像超分辨率研究方向

尽管在过去的30多年中，在图像超分辨率领域中出现了很多重要的研究成果，而且其基本的理论框架已经建立起来，但是为了构建出一个能够鲁棒地重建出高质量输出图像的超分辨率系统，至少在以下几个方面仍然有很多关键问题没有解决。

1）盲超分辨率重建

目前大部分超分辨率算法是假设已知模糊过程，然而在很多情况下，模糊过程至少是部分未知的。一个实用的超分辨率系统应该把模糊辨识融入重建过程中，即盲超分辨率重建。Nguyen等［54］提出了基于GCV（Generalized Cross－Validation）与高斯积分的参数化模糊辨识和规整化方法。但是，将模糊函数假定为单参数的高斯函数并不符合应用中的实际情况。在第2章中将讨论仿射运动成像模型下模糊算子的零空间估计问题，并给出运动估计、模糊辨识与图像重建的联合估计方法。

2）低分辨率图像配准与配准误差抑制

配准是超分辨率重建中一个至关重要的部分。一方面，为了得到精确的配准结果，需要基于鲁棒运动模型的精确配准算法，然而对于低质量的低分辨率图像，这是一项严峻的挑战；另一方面，由于不能保证配准算法的性能，故在重建过程中应该考虑配准误差的影响，并采取措施抑制配准误差对重建结果的影响。Bose［55－57］等提出了用总体最小二乘法来降低配准误差的影响。但是这些工作还主要局限于纯平移运动模型下的图像配准，在本书的第2章中将讨论仿射运动模型下配准参数与重建图像的联合估计问题。

3）基于学习的SRR中的大规模样本选择问题

基于学习的SRR方法本质上是利用学习样本中的信息来规整化重建过程，因此，样本库中样本的选择、组织及重建过程中的使用方法必然会对重建结果产生决定性作用，尤其是在遇到大规模样本库时，样本的训练与选择本身就是一个难题。在本书的第4章中将讨论基于流形学习的样本选择与超分辨率重建问题。(www.xing528.com)

4）超分辨率极限分析

无论是在实践还是在理论上，超分辨率性能的极限分析都有重要作用，可以使研究人员对超分辨率中的固有困难有更为深刻的认识。Sham［58］、Baker［33］和Lin［59］等分别在光学系统极限、超分辨率重建效果与放大因子及光敏元尺寸之间的渐近关系、放大因子极限和低分辨率图像数量等方面做了初步分析。但是对于一个任意图像序列的最优分辨率因子问题，仍然没有答案。另外，关于规整化参数虽然有部分分析，但是仍然需要对它的作用做深入的研究。

5）快速算法

超分辨率重建中的求逆过程需要的计算量很大，为了使SRR算法在实际的系统中可用，需要开发快速算法。基于插值和自适应滤波的方法可用在实时系统中。另外一些高效算法的工作可参见文献［40，60，61］，其中主要是在平移运动模型下的频率域快速算法，而其他运动模型下的快速算法还未见报道。

6）应用中的其他问题

彩色图像超分辨率及图像和视频的压缩误差的影响也仍待考虑，特别是基于小波压缩标准的误差分析。