成像设备检测-深度学习与深度合成

通过对成像设备的检测分析同样是分析图像处理依据的重要方法之一，近年来也涌现了大量基于深度学习的检测方法。2015年Luca等提出了使用卷积神经网络来提取相机模式的方法，该方法是首先把图像处理成不重叠的64×64的patch扩充数据，然后使用卷积神经网络来训练图片生成特征，再用生成的128维特征应用svm算法训练分类器，最终能够达到总体93%的准确率。2016年Amel-Tuama提出了使用高通滤波结合CNN来鉴别相机型号的方法，该方法使用高通滤波核把图像处理一下提取噪声，而后把图像噪声特征投入CNN结构中，使用了三个卷积层，一个池化层和三个全连接层，经测试该模型方法准确率要高于Alex-Net，比GoogLenet要略低，但是该方法结构简单，运行速度方面有很大优势。2016年Luca Baroffio等人使用深度学习网络在像素级和模型级分别做了预测，其中神经网络方面直接使用CNN、ReLU和Softmax等的网络结构，预测结果的时候采用分块投票的方式，把整个图像分成多个小块分别预测并对结果投票，这样能够显著提高效果，在model-level的测试中使用20个patch能够达到94%以上的准确率。以上的方法是深度学习在相机模式识别中的初步应用，直接使用深度学习做训练，没有考虑其他操作。

由于相机拍照后都会有一些压缩等操作，2017年Belhassen Bayar提出了在相机模式鉴别中增加两种预处理层，一个是MFR（Median Filter Residual）滤波核，另一种是受约束卷积层来增强输入特征，用这两种预处理后的特征来作为深度学习的输入，结合CNN能够达到比较好的效果，特别是在压缩后的照片上应用能够得到更高的准确率。这两种方法都是使用深度学习提取相机模式，然后再使用提取的模式判断图像存在隐写的行为。

2017年Yang Pengpeng等人在以前工作的基础上提出了自适应的CNN网络来鉴定设备的型号等，以前的工作中发现在图像预处理过程中使用重叠滤波或者高通滤波等滤波核可以捕获到图像合成的特征，提高图像鉴别效果，但这会丢失图像中一些有用的信息，所以提出用内容自适应CNN网络把预处理滤波核替换成三种内容自适应CNN卷积核并行处理，最后再把生成的特征整合到一块做分类，实验结果表明该方法可以提高图像分类效果。

2017年David等人提出了把深度学习的算法应用到移动设备的鉴别中，在网络架构上用了两个卷积层一个最大池化层和三个全连接层，直接输入照片训练分类器，主要使用三星Galaxy和苹果手机的照片来做输入，把图像分成32×32的小块生成数据，经测试模型准确率达到98.1%。(www.xing528.com)

2017年Luca Bondi提出了一种能够直接利用深度学习和相机模式判断图片中是否存在隐写行为，该方法首先提出一种假设，如果图片是原生的那么整幅图都会有相同的相机特征，如果是合成的，会有部分区域的相机特征与其他区域不同，利用这个特点判断图像是否合成，首先把原始图像分块，然后把图像使用CNN提取特征得到f（i, j），计算衡量指标q（i, j），这个值越低，那么CNN在这块的可信度就越小，然后对f（i, j）进行聚类，最大类里面的都算原生，其他的都算合成；接下来是优化合成区域，首先把所有原生区域的向量求平均得到一个中心位置，然后计算每个合成区域到中心的bray-curtis距离，如果小于阈值则判断为原生，反复迭代直到收敛，最后是使用q（i, j）进行再判断，主要是合成区域，如果q值小于阈值则选择不相信CNN的结果，改为原生区域，最后得到合成区域的结果。

由于相机的种类多种多样，所以在训练的时候不能把所有相机都考虑进去，Belhassen从这个问题入手提出了两个创新的地方，一个是把分类标签换成分值，再根据分值来判断是已知的相机还是未知的相机，这里需要一个得分阈值，经测试能得到93.97%的准确率；第二是再训练一个分类器用来区分照片是不是已知的设备所拍摄，文中使用的是受约束CNN来训练分类，经测试在已知和未知分类上能得到99.38%的准确率。

前面的集中方法都是提取相机的设备指纹，但是对相机的品牌、型号等的提取结果没有对比，Ding Xinghao等提出了一种根据照片来训练得到相机brand、modes、device的方法：首先把原始图片经过HPF（High Pass Filter）来生成多种滤波后的特征图，这里会使用多个大小的滤波图提取不同层面的特征，然后再把原始图和生成的不同HPF特征分别使用ResNet网络提取特征，最后组合到一块，完成图片预处理的工作。把预处理得到的特征再放到ResNet中分别训练brand、modes、device三个任务，这就是多任务的学习。根据实验结果可得本书提出的结构能够取得brand分类99.6%、model分类97.1%、device分类52.4%的结果，均高于普通方法。