深度学习与深度合成技术

平滑滤波可以消除图像在拼接边缘产生的视觉或统计特征上的畸变，成为数字图像合成过程中的常见后处理操作。因此，检测图像是否经历了滤波操作，是区分图像的原始性和完整性的有力佐证。

Chen等在2015年首次提出了基于卷积神经网络的中值滤波取证方法，设计了包含一个预处理层、五个卷积层和三个全连接层的网络结构（图6-9）。在预处理层对输入图像中值滤波后与原图像计算差值（即中值滤波残差，MFR）作为后续卷积层的输入，其原理是MFR能够抑制图像边缘和纹理等原始内容对分类的影响，而且图像中值滤波后相对于未修改图像的MFR会有明显减小。其网络在卷积层后选用了ReLU激活函数和最大池化运算，并在全连接层设置了drop-out机制防止网络过拟合。通过在BOSSbase1.01、UCIDdatabase、BOSS RAW database、Dresden Image Database和NRCS Photo Gallery database提取的图像集进行训练和测试，该方法（定义为MFR方法）相对于传统机器学习检测算法的检测率有了明显提升，但只适应于中值滤波检测。

图6-9　中值滤波检测的CNN网络结构

同样为实现对训练和测试图像的预处理，提取图像合成后遗留的微弱残差信息，贝耶尔（Belhassen Bayar）等人于2016年在传统的卷积神经网络的第一层设计了一种带约束条件的新型卷积结构，增加了对卷积核属性的约束条件，具体表现为：

其中，w为新的卷积核，w（0，0）为卷积核中心位置的数值。受此约束条件的卷积层可以学习像素以及像素周围的关系特征，而不只是图片内容本身。通过约束卷积层以及后面的两个卷积层、两个最大池化层和三个全连接层建立的网络结构，如图6-10所示，能够实现对中值滤波、高斯模糊、加性高斯白噪声和重采样等四种处理方式的分类取证，这说明采用带约束条件的卷积网络结构可以抑制图像内容的影响同时捕获操作特性，实现图像预处理卷积核的自动学习。

图6-10　Belhassen Bayar设计的网络结构

2017年，该团队将图像处理参数估计问题转化为一个多分类问题，将缩放、JPEG压缩、中值滤波和高斯模糊等四种处理方式的参数空间划分为不相交子集，从而将每个参数子集分配给一个不同的类。基于其2016年设计的约束卷积网络实现对缩放因子、JPEG压缩因子、中值滤波核大小、高斯模糊核大小和模糊参数进行分别估计。(www.xing528.com)

也有学者并未对图像进行预处理，而是采用比与文献更复杂的网络结构和训练方式进行检测。2018年，Boroumand等人考虑四种基本的图像处理——低通滤波、高通滤波（锐化）、去噪和色调调整（包括对比度和伽马调整），设计了能够适应分辨率变化和JPEG压缩的图像操作检测方法。该方法比上述研究增加网络深度、宽度（增加了卷积核数量）和训练数据数量。网络结构采用了八个卷积层和三个全连接层，考虑到平均池化操作会消除有价值的噪声，在前两层后没有采用池化运算，后面每个六卷积层后采用了平均池化操作。网络训练采用对小图像和任意大小图像分阶段、分部分训练的方式，保证网络能够适应检测图像的大小变化检测，其亮点之一还在于对没有加入训练集的中值滤波操作的检测准确率也能达到94%以上。

为了实现对包括平滑滤波在内的更多图像处理类型的检测，2019年，Wu等人将压缩、模糊、对比度操纵、形态学、加性白噪声、重采样和quantization七种处理定义为level0，再将这几种类型进行细分，如将模糊细分为高斯模糊、中值模糊等几种，依次增加，最多定义到level5级共385种类型，其中甚至包含了基于深度学习的inpainting。其设计的ManTra-Net网络结构分为两个子网络（图6-11），第一个子网络主要采用了VGG的网络结构，负责痕迹特征提取，在进行图像预处理的第一层中不仅利用了Bayar提出的带约束条件的卷积核，而且引入了在隐写分析领域表现良好的SRM（spatial rich models），共设计了16个卷积核进行图像预处理。该子网络针对level1级别中25类操作的检测准确率能够达到85%以上，但即便采用了更深更宽的网络结构，对385种类型的识别率最高只能达到5 1.8%。第二个子网络负责定位被处理的区域，其创新之处在于将定位问题作为一个局部异常检测问题，将未处理区域特征作为主要特征，把与主要特征存在差异的局部特征映射到一个具体的图像处理类型。由该研究可见，在基于图像空域的滤波检测中，通过增加更多类型的滤波核对图像进行预处理，能够学习更丰富的操作特征，可实现对包括中值滤波、高斯滤波等在内的更多种图像处理方式的检测分析。

图6-11　ManTra-Net网络结构

由于滤波操作在频域上等价于去掉某些频率成分，图像在频域上的变化也能反映出相应的滤波操作。如2016年Liu等人在CNN前增加了一个转换层，利用离散傅里叶变换和对数变换将原始图像转换为频域图像后输入CNN的卷积层，给出了用CNN进行滤波图像频域特征学习的可能，实现了对不同参数设置下均值滤波、高斯滤波和中值滤波的检测，在包括低分辨率图像和JPEG压缩图像的检测准确率有明显提高。2018年，Yang等人同样针对上述三种常见的滤波操作设计了基于CNN的滤波图像频域特征学习方法，区别主要在于其转换层采用了输入图像块的滤波频域残差（Filtering Residual in Frequency, FRF），基于图像频域特征提高网络模型对一次滤波与二次滤波操作的识别性。

除传统CNN外，一些学者对CNN进行定制化修改，或将新型的深度学习模型引入平滑滤波检测。针对传统CNN网络的非线性学习能力较弱问题，Tang等人在2018年将NIN网络包含的多层感知器层（mlpconv）引入CNN网络的卷积层之前，利用MLP的非线性学习能力学习中值滤波操作的非线性特征，较好地解决了低分辨率图像和低质量压缩因子的JPEG图像的中值滤波检测问题，在未增加滤波残差计算的情况下也能获得更高的检测准确率。该研究还对原始图像进行最近邻域插值放大，扩大了被处理图像与其原始版本之间中值滤波遗留痕迹的差异，有利于提升检测性能。2019年Shan等人进一步分析了JPEG压缩产生的块效应对中值滤波特征的影响，通过maximum a posteriori（MAP）框架对JPEG图像进行deblocking处理来消除块效应，利用图像去块的方法有效地抑制了JPEG压缩的干扰，之后将去块图像输入融合MFR、均值滤波残差（AFR）和高斯滤波残差（GFR）的混合滤波残差（FFR）进行第二步预处理，通过滤波残差融合来突出显示MF留下的指纹。最后，FFR层的输出变成后续网络输入，以进一步使用量身定做的并行双路CNN提取多个特征进行分类。其检测性能优于MFF, AR和MFR方法。2018年，Jin等人将生成对抗网络首次应用于低分辨率图像和JPEG图像的中值滤波检测，其并未像上述研究方法一样对灰度图像进行分析，而是直接对RGB图像的暗通道残差（dark channel residual, DCR）设置3×3、5×5、7×7三种滤波核分析检测，不仅充分利用了彩色图像包含的丰富信息，提高了AUC、recall和F1等检测的各项指标，而且能够对现实环境中广泛使用的彩色图像直接进行检测分析。

数字图像平滑滤波检测属于模式识别的范畴，深度学习在模式识别领域中的成功应用也带动了平滑滤波检测技术的发展。自2015年以来，涌现了包括CNN、GAN、NIN和LSTM等深度学习技术的一系列成果，这些研究主要创新点在于：①设计或引入了MFR、SRM等滤波器实现残差信号的有效计算；②综合运用多种滤波器对检测图像进行特征提取，并使用新型的网络结构保证残差信号的多样性；③在网络训练过程中通过减少池化操作（如在网络前端取消池化层）或者利用平均池化代替最大池化，减少残差信号的损失。这些研究相对于传统检测方法，其训练数据通过各种方式进行了扩充，特征学习更加自主，各类检测性能有了明显提升，也表明深度学习技术在数字合成检测领域的巨大潜力。