算法评价：NES+PGD与CMA攻击对比实验结果

通过对比两种攻击方法可知，本方法通常所需的查询次数低于NES + PGD 方法。本节将两种攻击方法同时进行10 × 10 的循环对抗样本生成测试实验，结果如表 4 − 3 − 4 所示。

表4−3−4　NES + PGD 与 CMA 对比实验

其中，NES+PGD 攻击直到L∞距离小于等于0.05 时停止，该攻击方法在本次实验中的成功率为95%，即存在两次攻击失败以及三次攻击结果可被肉眼直观察觉，更加具体的实验结果可以在图4 − 3 − 16 中查看。通过NES攻击生成的对抗样本的平均目标分类置信度达到 89.2%，这是一个很高的值，其平均查询次数为114 859。在文献［47］的NES + PGD 方法中提到，同样是 TopK 的局部信息设定下，其完成对抗样本生成所需的平均查询次数为104 342 次。本节重复NES + PGD 方法的实验结果与论文实验结果相似，因此对比实验具有可信度。

图4−3−16　NES + PGD 方法的 10 × 10 对抗样本矩阵图（书后附彩插）

同样，在 10 × 10 的循环对抗样本生成测试实验中，直到 L2 距离小于时才停止攻击，在本实验中，Imagesize = 299 × 299 × 3，攻击成功率达到了100%，并且平均目标分类的置信度达到73.6%，平均查询次数为74 948。实际上，为了保证成功率，本节提高了查询次数的上限，导致存在查询了 500 000 次以上才攻击成功的对抗样本。但即便如此，相较于NES+PGD 攻击，本节方法的平均查询次数减少了30%。10 × 10 循环对抗样本生成任务所需的查询次数对比如图4 − 3 − 17 所示。

由图 4 − 3 − 17 可知，基于 NES + PGD 方法完成攻击需要的查询次数大多在150 000 以内，少数需要的查询次数超过200 000 次；基于CMA方法完成攻击大多需要的查询次数在100 000 以内，少数需要的查询次数超过100 000 次。通过观察两种攻击方法所需查询次数较多的案例可以发现，NES + PGD 攻击的查询次数变多，主要是因为有效查询比例降低；而CMA 攻击的查询次数变多，主要因为扰动压缩方向与CMA 进化方向相反，即已找到黑盒模型下目前能找到的最优解，难以跳出局部最优解，即便如此，也找不到 L2 距离符合要求的对抗样本。但是，已找到的较好样本已经能达到模型识别错误、人类识别正确，且肉眼难以观察扰动的要求，如图 4 − 3 − 18 所示。

图4−3−17　10 × 10 循环对抗样本生成任务所需查询次数对比

（a）NES+PGD 对抗样本查询次数分布；（b）CMA 对抗样本查询次数分布(www.xing528.com)

图4−3−18　CMA 攻击产生的对抗样本

图 4 − 3 − 18 为使用 CMA 攻击产生的对抗样本。其中，（a）为原图cougar；（b）为需要37 850 次查询生成的对抗样本，其被Inception v3 识别为 guenon；（c）为需要 509 500 次查询才能生成的对抗样本，被Inception v3 识别为 karting。我们可以从图 4 − 3 − 18 中看出，虽然有些图像没有达到指定的L2 距离要求，但是扰动已经达到肉眼难以识别。

图 4 − 3 − 19 和图 4 − 3 − 20 所示分别为 NES + PGD 与 CMA 生成 10 × 10对抗样本时的L2 距离分布。从中可以看出，CMA 方法生成的对抗样本L2距离更为集中，且CMA 对抗样本的平均L2 距离低于NES 方法生成的对抗样本。结合图 4 − 3 − 16、图 4 − 3 − 21 可以看出，CMA 方法生成的对抗样本更加平滑，扰动更加难以被肉眼发现。

图4−3−19　NES + PGD 生成对抗样本的 L2 距离分布

图4−3−20　CMA 生成对抗样本的 L2 距离分布

图4−3−21　CMA 攻击方法的 10 × 10 对抗样本矩阵图（书后附彩插）