信息过滤系统性能评估结果

应该如何对信息过滤系统的性能进行评估目前还没有一个统一而合理的标准。原因有很多，首先信息过滤系统不单单面对的是信息内容，它还包含许多社会因素；其次用户的信息需求是多种多样的，其内涵也不是统一固定的，不同用户对同一个词的理解不同，就会造成对过滤结果的不同的评价。在实际应用中一般采用信息检索中常用的查准率P（Precision）和查全率R（Recall）这两个参数作为信息过滤系统的评价标准。二者定义如下：

查准率和查全率越高，系统性能越好。

TREC（Text Retrieval Conference）组织也提出了一套评估信息过滤系统的标准，其举办的TREC-9评测会议中，运用如下所述的Utility的值和查准率两个参数来评估批过滤和自适应的过滤系统。

设R⁺是与用户需求相关且系统保留的信息条数，N⁺是与用户需求不相关但系统保留的信息条数，R^-是与用户需求相关但系统没有保留的信息条数，N^-是与用户需求不相关且系统没有保留的信息条数，则：(www.xing528.com)

Utility=（A×R⁺）+（B×N⁺）+（C×R^-）+（D×N^-），其中A，B，C，D是四个参数。在TREC-9中，A=2，B=-1，C=D=0。Utility值越高，过滤系统的性能越好。

TREC组织的查准率参数同信息检索中常用的查准率参数类似，也是强调过滤的准确率，但TREC要求过滤结果文本数不少于一个下限MinD，在此前提下，准确率的定义为P=R⁺/max（MinD，R⁺×N⁺）。在TREC-9中，MinD定义为50篇。准确率越高，系统性能越好。