水下图像复原技术在船海工程中的应用

如果把水下图像视觉光传输作为一个线性系统来分析，图像恢复旨在使用退化函数h（x，y）（也称为点扩展函数PSF）和噪声特性n（x，y）函数，从观测图像g（x，y）恢复原始图像f（x，y）：

此处乘法符号*代表卷积操作，退化函数h（x，y）包括来自成像系统本身的系统响应和介质的影响：

其中，（u，v）是空间频率，G、F、H和N分别是g、f、h和n的傅里叶变换。频域中的系统响应函数H称为光传递函数（optical transfer function，OTF），其量值称为调制传递函数（modulation transfer function，MTF）。通常，系统响应被表示为光学系统本身和介质共同作用的结果：

退化函数对结果影响很大，水下成像退化的来源包括浑浊度、悬浮颗粒在水和光传播的光学性质，因此，水下光学特性必须被纳入PSF和MTF中。来自各种来源的噪声的存在进一步使这些技术复杂化。Hou等人将水下光学特性与传统的图像复原方法结合起来［143］，把测量到的水中光学特性结合到空间域中的点扩散函数和频域中的调制传递函数中，将Hmedium作为圆对称响应系统的指数函数：

指数D（φ）是在小角度近似条件下对海水的衰减定义的传递函数，其定义如下：

其中，θ为均方角；b和c分别为总散射系数和衰减系数。系统（相机／镜头）响应从校准的图像在不同的空间频率直接测量。在水中测量了实验期间的光学性质：吸收和衰减系数、粒径分布和体积散射函数。Trucco和Olmos提出了基于Jaffe-McGlamery图像形成模型的简化版本的自调谐恢复滤波器［144］。为了设计恢复滤波器，提出了两个假设：第一种假设是均匀光照（浅海中的直射阳光）；第二种假设是只考虑图像模型的前向分量Ef作为主要的退化源，忽略后向散射Eb和直接分量Ed。在水柱中产生颗粒物质的反向散射的离子是有限的。进一步的简化将前向散射模型中的指数差异考虑为实验常数K：

其中，Rc是从场景点到摄像机的距离；G是一个经验因子，使得G＜｜c｜。

通过基于全局对比度度量（最优性定义为达到最小模糊）来优化质量标准，针对每个单独的图像自动估计这些参数的最佳值。因此，低后向散射和浅水条件是该技术的最佳环境。

Liu等人利用图像传输理论，在实验室测量了海水的PSF和MTF，并用维纳滤波器恢复了模糊的水下图像。在水箱中测量降解函数H（u，v），利用狭缝图像和光源构造实验［145］。实验开始获得狭缝图像在不同水路长度上的一维光强分布，通过解卷积运算可得到海水一维PSF。然后，根据海水PSF的圆对称性，用数学方法计算二维PSF。接着以类似的方式计算MTF，所得到的这些测量函数可以用于模糊图像恢复。传递函数W（u，v）为：

其中，Sn和Sf分别是噪声和原始图像的功率谱；H*（u，v）是H（u，v）的共轭矩阵。噪声被看作白噪声，Sn是一个常数，它可以从带有噪声的模糊图像中得出，而Sf被估计为：

其中，Sg是模糊图像的功率谱，恢复图像的频谱为：

Schechner和Karpel利用水下散射中的偏振效应来补偿能见度退化［146］。考虑到图像模糊不是图像对比度降低的主要原因，所以可以将水下偏振与想要消除的主要能见度干扰（遮蔽光或后向散射光）联系起来，图像处理流程如图5-3所示。

图5-3　红海水下10 m图像(www.xing528.com)

Jaffe-McGlamery图像形成模型在自然水下光照下可以应用，这是利用了遮蔽光在水平方向部分偏振的原理［146］。该算法是基于在不同方向上通过偏振器拍摄的一对图像。原始图像具有非常低的对比度，但它们的细微差别提供了可见性改善的关键。该方法自动地解释对象距离的依赖性，并估计场景的距离图。能见度改善的定量估计被定义为后向散射分量的对数函数。此外，还应用了一种补偿强蓝色色调的算法。在海上进行的实验表明场景对比度和颜色校正的改善，几乎使水下能见度范围增加了一倍。

Yang等人尝试利用湍流模型和基于图像梯度分布的水下图像质量估计相结合的方法来解决水下图像中存在的低对比度、模糊的问题［147］。对于大多数对比度良好且无噪声的图像，梯度幅值直方图的分布接近指数分布，除了在与均匀区域相对应的低梯度处的小峰值。通过基于梯度幅值直方图的质量准则优化，自动估计出每个图像的模型参数最优值。对比结果表明，该方法克服了低对比度，补偿了衰减，特别适用于未知且光线较暗的水环境的图像恢复。退化模型是图像复原问题的关键。在水下环境中，偏折可能是由于颗粒或折射率不同于水的颗粒物质引起的，就像大气湍流引起的复杂的光学折射。根据Lambert-Beer经验定律，两种介质中光强的衰减都与材料的性质有关。漂浮的粒子或空气团不仅吸收光子，而且偏离光的入射方向。在空中远距离拍摄的照片也遇到和水中相同的问题，即对比度低和光学模糊。因此，水下退化图像与大气干扰所拍摄的图像具有相同的视觉效果。Hufnagel和Stanley提出了一种基于大气湍流物理性质的图像退化模型［148］：

其中，k是湍流常数，k的值可以体现湍流的程度，可以根据退化模型来估计k的值。

Galdran提出了一种改进的红通道算法来恢复水下图像处理能见度损失和颜色损失，该方法采用扩展暗通道的方法来适应这些图像退化的方式。Galdran还提出了在水下场景中定位人工照明区域的一般方法，并给出了一种正确处理这些区域的方法，以避免由于错误估计深度而可能出现的彩色伪影［149］。Galdran等人基于四张水下图像的论文中针对四张水下图像，通过不同方法做了对比，给出了所提出的方法处理结果的优势，结果如图5-4所示。

图5-4　图像增强与轮廓分割结果

Galdran在四个不同的图像上进行了实验，试图捕捉到水下图像的广泛可变性。尽管测试集包含相当不同的图像，但还是不可能反映不同水质、大气深度、光照以及影响水下图像采集的大量参数的全部可能性范围。为了改进潜在的比较和评估，作者建立了一个在线存储库（https：／／github.com／agaldran／Under Water），读者可以在其中找到以全分辨率出现在论文中的所有图像，以及恢复结果产生更广泛的一组测试图像，感兴趣的读者可以从在线数据库下载图像和代码。

Paulo等人对水下暗通道先验方法（underwater dark channel prior，UDCP［150］）进行更深入的研究，包括根据He及其同事所描述的指导方针对该假设进行广泛的统计实验验证［151］。此外还提出了一种新的应用UDCP的水下图像恢复和深度估计方法，使用一组新的数据来对算法进行定性和定量分析，包括从巴西海岸获得的图像，处理后的结果如图5-5所示。该方法适用于开发需要高质量视觉信息的水下应用的自动处理技术。

图5-5　暗通道先验方法处理巴西海岸获得的水下图像［152］

Peng等人提出了一种基于图像模糊和光吸收的水下景物深度估计方法［152］，可用于图像形成模型（image formation model，IFM）的水下图像恢复和增强。先前的基于IFM的图像恢复方法大多都是基于暗信道先验或最大强度先验估计场景深度，这些深度估计的算法常常被水下图像中的照明条件所破坏，从而导致较差的恢复结果。Peng等人的方法更准确地估计水下场景深度，对真实图像和合成图像的复原实验结果表明，该方法优于其他基于IFM的水下图像复原方法。

Camilo等人使用在基于现场可编程门阵列（field programmable gate array，FPGA）平台上实现的硬件／软件协同设计方法，开发用于距离测量和图像恢复的实时系统［153］。硬件模块执行最苛刻的任务，而软处理器负责非关键任务。使用这种协同设计方法可以实现设计的高度灵活性，从而在表面积和执行时间方面获得更好的性能结果。该系统使用不会导致图像质量损失的低复杂恢复算法实现高效的图像恢复架构，使用立体视觉系统和距离估计技术实现水下图像恢复。图像复原方法作为逆问题构造退化的物理模型，然后估计模型参数。［154］

图像复原的方法有很多种，其他学者也都进行了相应的研究，该方面的核心内容就是建立原始图像和观测图像之间的数值关系，通过深入研究水下光学特性和介质的传播特点来更好地拟合出适应场景特定的数值关系，从而让图像变清晰。