基于深度学习的重采样检测

重采样（re-sampling）是图像缩放、旋转等几何变换中必需的操作，这样的步骤需要运用插值/抽取技术对图像进行重新采集样点，使其位于一个新的采样网格中。图像的处理过程中经常使用缩放或旋转操作，必然导致合成部位重采样率的差异。

传统的图像重采样检测算法大多是基于以下两个特性：一是重采样信号的二阶差分的统计方差具有周期性；二是重采样操作会导致插值点与其相邻像素点产生一定的相关性。2017年，Jason Bunk等人在CVPR Workshop的提出利用深度学习技术检测重采样特征，实现合成区域的检测和定位，其实现框架如下图6-16所示。

图6-16　Jason Bunk提出的检测框架

算法主要包含两个步骤，首先将整张图像分为96×96大小重叠的小块，并计算每个图像块的重采样特征Randon变换。然后使用深度学习分类器和高斯条件随机场模型创建热力图；对热图进行处理，使用它生成图像级别的检测分数和二值定位图，使用CNN提取特征，接着建立统计学模型，根据统计直方分布，从而对合成区域进行定位。

2017年，Belhassen Bayar认为传统的CNN主要提取与图像内容相关的特征，事实上这些与内容相关的特征应该作为噪声去除，因此，得到的用于检测的特征可能无法捕获重采样留下的所有痕迹。因此，其使用先前提出的带约束卷积核抑制图像的内容并且提取预测残差特征，提出的网络结构如图6-17所示。(www.xing528.com)

如图6-17所示，在整个网络中共有四个不同的模块，分别是：预测误差特征提取模块、层次特征提取模块、关联特征学习模块和分类模块。首先，网络使用了带约束卷积核进行预测误差特征提取；接着，用三个卷积层及最大池化层去提取层次特征；再然后，使用一个包含1×1卷积核的块去学习不同特征图之间的关联；最后，使用包含三层全连接网络的分类模块分类。实验证明，该CNN网络结构能够捕获像素值之间的依赖性和学习由于重采样操作产生的预测误差中与周期性相关的特征。

图6-17　带约束的重采样检测网络

综上来看，传统的卷积神经网络应用于图像分割、图像分类研究时，主要关注于识别分析图像表达的具体内容，其提取学习的特征往往与图像内容有关。与此不同是，在图像分析时特征提取的主要对象是遗留下的处理痕迹，图像的内容则应作为影响学习的噪声进行抑制。正是由于这个原因，难以将传统的卷积神经网络直接套用到图像合成检测领域。从技术本质来看，图像合成检测可归纳为一个二分类问题，关键在于能够提取通过机器学习提取特定处理痕迹的特征，其难度和挑战在于，如何在操作遗留的微弱痕迹中提取兼顾区分能力和泛化能力的各类特征，目前仍未完善的解决方案。随着人工智能时代的到来，深度学习技术为平滑滤波检测等一系列数字图像取证问题带来了有效的解决方案。然而，迄今为止，基于深度学习的方法在该领域并未展现出像在图像识别中的优异性能。主要原因在于：①目前采用的网络结构大多采用了图像识别的网络结构框架，检测方法易受到图像内容的干扰，不利于提取平滑滤波等微弱的操作特征，无法保证端对端的学习，其特征学习仍然需要一定的人工干预；②与ImageNet等图像识别成熟数据集相比，图像合成深度学习训练样本集尚不足以训练更复杂的网络结构，而且现有的训练数据多是基于简化的合成方式生成，缺少贴近真实场景的数据集。随着基于深度学习的图像合成技术的出现，图像合成检测的难度越来越高，尽管深度学习技术在取证领域前景广阔，但仍需结合新技术、新理论开展深入研究，以期尽快解决端到端学习、特征学习等难题。