水下图像增强与色彩校正-人工智能与船海工程

水下成像与普通图像不同，水下图像由于传播光的衰减而具有很低的可见度。光随距离和深度呈指数衰减，主要是由于吸收和散射效应。吸收实质上减少了光能，而散射导致光方向的变化。光的随机衰减是产生雾状外观的主要原因，而从介质沿视线散射回来的光的分数使场景对比度显著降低。水下介质的这些特性产生了对比度较差的场景，其中远处的物体出现模糊。实际上，在普通的海水中，距离大于10 m的物体几乎无法被区分，而颜色由于它们的特征波长是根据水深来切割而褪色。

图像增强和色彩校正算法对图像形成过程进行全面抽象，不需要先验的环境知识（例如不要使用衰减系数和散射系数），它们通常比图像恢复技术更简单高效。关于颜色校正，随着深度的增加，颜色根据它们的波长逐一下降。首先，红色在3 m的深度消失；接着，橙色在5 m深处消失；大部分黄色在10 m的深度消失；最后，绿色和紫色在更深的深度消失。蓝色由于波长最短而在水中传播最长，因此，水下图像以蓝绿色为主。光源的变化也会影响颜色感知，因此，强烈且不均匀的颜色投射将表征典型的水下图像。

这个问题可以通过使用多幅图像、专用硬件和利用偏振滤波器来解决。尽管这些策略对于增强水下图像是有效的，但它们已经展示了一些降低其实用性的重要问题。硬件解决方案（例如激光距离选通技术和同步扫描）相对昂贵和复杂。多个图像解决方案需要在不同环境条件下拍摄的相同场景的多个图像。类似地，偏振方法处理多个具有不同偏振度的图像，虽然这对于室外雾霾和雾化图像相对可行，但对于水下情况，相机的设置可能比较麻烦。此外，这些方法（除了硬件解决方案）不能处理动态场景，因此对于处理视频是不适用的。

Bazeille等人提出了一种水下图像预处理算法，该方法可以减少干扰和改善水下图像质量［155］。它由几个连续的独立处理步骤组成，可以实现校正非均匀光照（同态滤波）、抑制噪声（小波去噪）、增强边缘（各向异性滤波）和调整颜色（均衡RGB信道以抑制主要颜色）。算法是自动的，不需要参数调整，该方法被用作边缘检测的初步步骤，使用梯度直方图和Arnold Bos等人使用的标准分析了该方法的鲁棒性［156］。该准则假定对比度良好且无噪声的图像具有接近指数分布的梯度幅值直方图，并将标记从0属性为1属性。图5-6给出了Bazeille等人处理的结果。

Majed Chambah等人就水下图像的颜色复原，特别是针对水下图像的典型色斑——强非均匀色斑，提出了一些新的改进校正方法，该方法基于ACE模型的一种无监督颜色均衡算法。ACE是一种受人类视觉系统的一些适应机制启发的感知方法［157］，特别是亮度恒定和颜色恒定。感知方法具有很多优点，它是无监督的、鲁棒的，并且具有局部滤波特性，从而导致更有效的结果。恢复的图像在显示或处理时给出更好的结果（鱼分割和特征提取），得到的初步结果是令人满意的和有前途的。图5-7显示了两个示例原始图像及其恢复的ACE版本，处理后的结果显示分割效果更好。

Kashif Iqbal等人在RGB和HSI颜色模型上使用了滑动拉伸算法来增强水下图像［158］。为了证明该方法的有效性，他们开发了一个交互式软件工具用于水下图像增强。先在RGB颜色模型上进行对比拉伸；然后在HSI颜色模型上进行饱和度和强度拉伸。应用两个拉伸模型的优点在于它有助于均衡图像中的颜色对比度，并且还解决了照明问题，其流程图如图5-8所示。

通过应用所提出的方法得到了预期的结果，处理效果如图5-9所示。

图5-6　Bazeille等人给出的图像处理结果［156］

图5-7　原始图像及其恢复的ACE图像处理结果对比［156］

图5-8　Kashif Iqbal提出的水下图像增强流程图

图5-9　增强前后的结果比较

Arnold Bos等人提出了一种完整的水下图像预处理框架［159］，他们研究了利用反卷积和增强方法组合来处理水下图像中存在的全部噪声范围的可能性。首先，提出了一种对比度均衡系统来抑制后向散射、衰减和光照不均匀性。如果I（i，j）是原始图像和ILP（i，j）的低通版本，则I的对比均衡版本是IEQ＝I／ILP，对比度均衡之后是直方图剪裁和图像范围的扩展。该方法是相关的，因为后向散射是一个缓慢变化的空间函数。该算法首先考虑后向散射，但对比度均衡也校正了指数光衰减对距离的影响。利用通用的基于自校正小波的算法抑制了传感器噪声、漂浮粒子和杂项量化误差等残留噪声。自适应平滑滤波器的使用显著改善了图像中的边缘检测。

Torres-Mendez和Dudek从不同的角度提出了颜色校正算法，它被描述为使用学习约束的能量最小化问题［160］。该方法所基于的思想是，可以将图像建模为称为马尔可夫随机场的随机过程的样本函数。颜色校正被认为是使用训练图像补丁为输入图像的每个像素分配颜色值的任务，该颜色值最好地描述其周围结构。该模型利用彩色校正图像和彩色耗尽（蓝色）图像的多尺度表示来构造一种概率算法，以改善水下图像的颜色。

Åhlén J等人依赖于光谱仪测量在不同深度的彩色板，同一板的图像在同一时间由相应的数码相机拍摄［161］。光谱仪对每个彩色板的高光谱数据提供了使用定义的加权函数创建伪高光谱图像的可能性。在建立伪高光谱图像之前，去除或至少显著地减少相机内置的增强效果，所获得的大量信道将比经典RGB给出更精确的图像表示，然后利用从光谱值获得的漫衰减系数校正图像。结果显示的图像是通过添加已经衰减的光进行的颜色校正。

Frederic Petit等人提出了一种基于四元数的水下图像增强方法，这项工作的目的是改善水下物体颜色再现和对比度，就好像场景已经被带出水面。该方法是基于四元数处理颜色空间收缩后的光衰减反演。衰减给出了一个应用于白色的色调矢量来计算水的颜色。使用该参考轴，用四元数计算颜色空间中的几何变换。处理过的图像的水域的像素被移动到灰色或低饱和度的颜色，而对象保持全彩色。因此，所观察场景的对比度显著改善，并且背景与图像的其余部分之间的差异有所增加。

Petit在另一篇论文中定义了变换方法修改图像颜色增强并补偿水中的光衰减［162］。该处理方法的目的是使水像素靠近色调轴，靠近灰色轴，而保留对象的颜色并修改它们以恢复颜色平衡。实际上，在空间收缩计算之后，接近水色的像素向着色调轴移动，而对象像素则远离色调轴。最终的色彩增强是为了补偿光的衰减，恢复良好的色彩平衡。(www.xing528.com)

Cosmin Ancuti等人介绍了一种基于单幅图像以及动态场景视频的水下图像增强方法。该方法建立在融合原理的基础上，融合原理在图像合成、多光谱视频增强、去雾化和HDR成像中显示出实用性。与其他方法相比，该方法基于融合的原理，但是不需要多幅图像，仅从原始退化图像中导出输入和权重。由于水下场景的降解过程是乘法和加法，传统的增强技术如白平衡、颜色校正、直方图均衡等，对于这样的处理显示出很大的局限性。代替直接对输入图像进行滤波，该方案由原始图像的内在属性（这些属性由权重映射表示）驱动。融合技术的成功在很大程度上取决于输入和加权的选择，因此该方法中提出一组算子，以克服特定于水下环境的限制。在这个框架中，首先将退化的图像进行白平衡，以便在产生海底图像的自然外观的同时去除色块。然后通过抑制一些不希望的噪声来进一步增强该部分恢复的版本。第二个输入是从这个过滤版本中导出的，以便在整个强度范围内渲染细节。融合为基础的增强过程是由几个权重图驱动，算法的权重图评估指定空间像素关系的几种图像质量。这些权重为像素分配更高的值来恰当地描绘期望的图像质量。最后，这个过程设计了多分辨率的方式，不同于大多数现有技术，该方法可以处理动态场景。为了保持视频中的时间相干性，在相邻帧之间应用时间双边滤波［163］。利用该方法对水下图像进行处理，分割结果更加一致，而滤波后的边界在感知上更加精确，处理结果如图5-10所示。

该技术在处理低频闪和人工光拍摄的深景图像时显示出了局限性。在这种情况下，即使可以获得一些增强，但蓝色外观仍然存在。此外，当光照差时，非常远的场景不能被可靠地恢复。与硬件和基于偏振的技术相比，远程对象和区域的复原也代表了这种方法的一般限制，由于额外的可用信息，基于硬件和基于偏振的技术在这种情况下通常表现得更好。

图5-10　基于单幅图像以及动态场景视频的水下图像增强示例

Ghani和IsaN提出了Iqbal方法［164］的改进型瑞利拉伸对比度限制自适应直方图方法，这种方法限制了欠增强和过增强区域的数量。Li和Guo等人提出一种基于颜色校正和水下图像去雾的水下图像混合增强方法［165］，该方法利用图像颜色先验信息对水下图像的颜色投射进行校正，并通过改进的图像去雾混合算法提高可见度。当图像颜色不可用时，该方法表现出一定局限性。随后Li和Guo等人又提出一种基于弱监督颜色传递的水下图像颜色校正方法［166］，该方法学习水下图像与空气图像之间的跨域映射函数。此方法放松了对用于训练的成对水下图像的需求，并且允许在未知位置拍摄水下图像。

Schechner等人提出的一系列增加补充信息的方法通常利用从由偏振滤波器、立体图像、场景的粗略深度或专用硬件设备捕获的多个图像获得的附加信息［167］。

Saeed Anwar等人综合考虑了现有的方法存在的如下问题：

①潜影图像中的感知对比度通常分布不规则，在低增强区域中保持无效的低对比度，在高增强区域中保持过高对比度；另有一些方法引入伪影；

②大多数方法直接采用通用的室外雾模型来预测水下成像模型参数，在这种环境下成像和照明的性质不同，并不适合于海洋场景；

③专用传感器和多幅图像的使用昂贵和耗时，从而降低了它们的适用性；

④尽管深度学习在低层视觉任务中取得了令人印象深刻的效果，但是对于水下图像的增强还没有有效的学习模型，主要原因在于缺乏足够标记的训练数据，这限制了基于深度学习的水下图像增强方法的发展。

为解决以上问题，Saeed Anwar等提出了基于卷积神经网络的图像增强模型，它使用合成的水下图像数据库进行有效训练［168］。不同于现有的需要水下成像模型估计参数或强加仅适用于特定场景的不灵活的框架的工作，该模型通过利用自动端到端和数据驱动的训练机制，直接重构清晰的水下图像。根据水下成像模型和水下场景的光学特性，首先合成了10个不同的海洋图像数据库。然后分别训练多个UWCNN模型为每个水下图像形成类型。通过对真实图像和水下合成图像的实验结果表明，该方法对不同的水下场景具有较好的泛化能力，在定性和定量上都优于现有方法。图5-11显示了水下图像增强模型UWCNN的体系结构，它是一个紧密连接的完全卷积网络。

图5-11　UWCNN网络结构

Conv——卷积层；Concat——叠加卷积层；ReLU——调整的线性单元

对于水下视觉的增加和色彩校正，很多方法都已经能够解决某些特定的问题，但是未来如何能够给出泛化能力更强的模型是更加重要的。同时，水下作业一般都是采用照明设备，在这种情况怎样进行色彩校正和增强也是需要重点研究的内容。