基于目标项目分析的托攻击检测研究：评价指标

一个托攻击检测算法对两种类型的用户概貌分类，有4种可能性，见表2.2。假正情况是指检测算法标注为攻击概貌但实际是真实概貌；假负情况是指检测算法标注为真实概貌但实际是攻击概貌；真正情况是指检测算法正确识别的攻击概貌；真负情况是指检测算法正确识别的真实概貌，见表2.2，检测结果中真实用户包括真负与假正用户，而攻击概貌则由真正用户与假负用户组成。

表2.2　测试输出结果

托攻击检测评价指标使用准确率（Precision Ratio），误判率（False Positive Rate），召回率（Recall）和准确率（Precision）以及ROC曲线（Receiver Operating Characteristic Curve，ROC曲线）下面积ΔAUC来度量。

（1）准确率和误判率

准确率是指检测结果中被正确判别为托攻击概貌的个数与系统中真实托攻击概貌的个数的比值，如公式（2.10）所示。

其中Rdetection为托攻击检测算法检测率，Struepositives为被监测的托攻击概貌的个数，Sattacks为注入的托攻击概貌的个数。

误判率是检测结果中被误判别为托攻击概貌的真实概貌个数与推荐系统中真实概貌的比值。假正率如公式（2.11）所示。(www.xing528.com)

其中Rfalsepositive为托攻击检测算法误判率，Sfalsepositives为被误判为托攻击概貌的个数，Sgenuines为正常概貌的个数。

（2）召回率和准确率

准确率与召回率等分类器性能评价指标常被用来评价托攻击检测算法的性能［45］。召回率是检测结果中判别为真正的概貌数量与实际攻击概貌的数量之比；准确率是检测结果中判别为攻击概貌的数量与检测结果用户概貌的总数量之比。召回率与准确率分别定义公式（2.12）和公式（2.13）所示。

其中，Rrecall为托攻击检测算法召回率，Rprecision、Rrecall为托攻击检测算法准确率。Sturepositives为被正确判断的托攻击概貌的个数，Sfalsenegatives为正确判断的正常概貌个数。

（3）ΔAUC值

ROC指标经常被用来分析二元分类模型的性能。通过比较各组实验的ROC曲线下的面积（ΔAUC）。ΔAUC的值大于0小于1。当ΔAUC=1时，说明分类器是完美的分类器；当0.5＜ΔAUC＜1时，说明分类效果优于随机猜测；当ΔAUC=0.5时，说明分类效果跟随机猜测一样，没有预测价值；当ΔAUC＜0.5时，说明分类效果比随机猜测还差。