ROC曲线分析方法发源于电子信号观测理论,用于评价雷达信号接收能力。ROC曲线分析方法以统计决策理论为基础,目前在医疗诊断、人类感知和决策、军事监控与工业质量控制等领域的应用较为成熟[144-146]。现在,也有学者将该方法尝试应用于驾驶行为领域,如疲劳驾驶状态识别[147]。文献[148]将ROC定义为:“对于可能存在混淆的两种状态,需要诊断者或预测者做出准确判断或决策的一种定量方法。”根据文献[144- 148],ROC曲线的评价方法的特点总结如下。
1.ROC曲线的绘制原理
在诊断试验的评价过程中,将某检测指标用来区分阳性样本与阴性样本的判别阈值作为诊断界点(cut-off point),如图4-7(a)所示。这里,灵敏度(sensitivity)即真阳性率(true positive rate,TPR)定义为:以诊断界点作为判别基准,将阳性样本诊断为阳性的概率,即阳性样本正确识别的概率。例如,假如某愤怒强度的样本为阳性样本,那么其他愤怒强度的样本则为阴性样本。特异度(specitivity)即真阴性率(true negative rate,TNR)。ROC曲线就是采用构图法描述诊断检验的灵敏度和特异度之间相互关系的曲线,是反映该诊断检验灵敏度与特异度这两种连续变量的综合指标。此外,在诊断试验过程中常用到另外两个指标,分别是假阴性率(false negative rate,FNR)、假阳性率(false positive rate,FPR),其中FNR俗称漏判率,指阳性样本在诊断试验过程中错判为阴性的概率;FPR俗称误判率,指阴性样本(即正常样本)在诊断试验过程中错判为阳性的概率。这两个指标与灵敏度、特异度之间的换算关系如公式(4-20)~(4-23)所示:
为了确定某检测指标的最佳判别阈值使得判别准确率最高,即漏判率与误判率之和最小(见图4-7(a)),在诊断试验过程中将会尝试不同的判别阈值即诊断界点,以每一个诊断界点对应的TPR值为纵坐标,FPR值为横坐标,连接所有的诊断界点即可形成ROC曲线(见图4-7(b))。
图4-7 ROC曲线坐标系统及其评价指标示意图
2.特征指标的检测准确率
坐标系统中的ROC曲线的位置和形状决定了特征指标检测准确度。当诊断界点即判别阈值取在机会线(参照线)AB上,例如E点时,表示判断结果的灵敏度和特异度均为 50%,即完全凭机会区分阳性样本和阴性样本,表明诊断试验无诊断价值,判断结果无实际意义。当判别阈值取在直线AC上时表示特异度为1;当判别阈值取在直线CB上时表示灵敏度为1,在这两种情形下,选定的判别阈值检测准确率最高,样本之间无重叠区域,即图4-7(a)中的阴性样本和阳性样本无重叠区域。当判别阈值取在曲线ADB(即ROC曲线)上时,表示判断的样本之间存在重叠区域,即存在一定的漏判率和误判率。当判别阈值越靠近ROC曲线的左上角即点C(0,1)时,那么判别的样本重叠区域越小,表示该判别阈值的检测性能越好。
对于任何一种检测方法,其灵敏度与特异度成正交关系,改变判别阈值不可能同时提高其检测的灵敏度与特异度,但ROC曲线下的面积(area under the curve,AUC)是综合评价检测方法的二维直观描述:AUC反映了判别阈值的准确性,AUC越大,表明判别阈值的准确性越高。一般地,当AUC大于等于0.8时,即可认为该判别阈值或检测方法的准确率较高,可用该判断阈值进行样本阴阳性检测。AUC的具体评判标准如表4-14所示。
表4-14 ROC曲线面积(AUC)判断标准
(www.xing528.com)
在实际判别过程中,AUC可采用梯形法积分求得,即对图4-7(b)中的曲边梯形URST进行积分计算,如式(4-24)所示:
式中e,f分别是横坐标FPR的下限和上限;Si是ROC曲线坐标系统的第i个曲边梯形;yi-1和yi分别是曲边梯形的上底和下底;Δxi为该曲边梯形的高。
3.最佳判别阈值的确定
除了评判检测指标或算法的准确性,ROC曲线的另一个较为重要的作用就是确定最佳判别阈值。由于ROC曲线包含了所有可能的诊断界点(判别阈值)以及每个诊断界点的灵敏度和特异度,根据ROC曲线评价方法特点(2)可知,越靠近左上角C点的诊断界点的检测判别效果越好。由于不可能同时提高判别阈值的灵敏度和特异度,即这两个评价指标存在折中性,因此,最佳阈值的选择本质上是一种优化问题。在实际应用中,可选择ROC曲线上尽量靠近左上方(即C点)且Youden指数最大的诊断界点作为最佳判别阈值[147]。Youden(Y )指数定义如下:
根据式(4-25)可知
结合式(4-22)和(4-23),Y指数还可表达为
通过该式可看出,当误判率FPR和漏判率FNR之和达到最小值时,Y指数即可达到最大值。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。