信息检索效率指标及其影响因素

检索效果研究的重点是检索效率。所谓检索效率是指评价检索系统性能和检索质量的各种比率。具体包括查全率（全）、查准率（准）、新颖率（新）、检索速度（快）、检索方便性（便）、检索成本效益比（省）等指标。决定检索效率的因素主要有检索语言质量、标引质量、检索质量及其他方面的因素。在各种指标中，查全率与查准率是评价的最重要的指标。

为了说明查全率与查准率，1979年，兰卡斯特（F. W. Lancaster）在《信息检索系统——特性、试验与评价》一书中最先引进2×2表，如表4.6所示。这是概括描述文献检索结果的一种表格。兰卡斯特认为，在检索过程中，检索系统中参与检索的全部文献n可以分成4部分：从系统相关性角度来说有：（1）检出文献（a+b），（2）未检出文献（c+d）；从用户相关性角度来说有：（1）相关文献（a+c），（2）不相关文献（b+d）。

表4.6　信息检索评价中的2×2表

1.查全率（Recall Ratio）

查全率，或称检全率、命中率，是指检出的相关文献（广义指文档，包括文本、图形、图像、动画、视频或音频等）数与系统内的相关文献总数之比。这一指标最初是由J.W.佩里和A.肯特等人于1956年提出的，它是衡量一个检索系统从特定文献集合中检出相关文献成功度的一项指标。

公式及其值的确定：R＝检出的相关文献/系统内的相关文献总数之比×100%，换言之，R＝符合需求且被检出的文献数/系统内符合需求的文献总数×100%。从2×2表中可以得出　R=　a/　a+c×100%。与此相反，我们把未检出的相关文献数与系统内的相关文献总数之比称为漏检率（Om ission Ratio），其值为　c/　a +c×100%，它是查全率的补数。

在公式中，a值经过一次检索即可确定，而c值，即漏检文献数一般可以用下列4种方法测定出来：（1）若n值不大，逐篇鉴别各篇文献，从而确定出c值；（2）若n值很大，可对检出的文献随机抽样，如抽样为1/100，其中有r篇文献是相关的，则估计　c =　100r ；（3）由有经验的用户去鉴别检出的文献，若他认为这次检出了2/3的全部相关文献，则　3/21-=c　；（4）通过不同途径去检索同一课题的文献，把各次检出的文献加在一起，剔除重复，形成一份较完整的相关文献清单，以此对比每次检出的相关文献，即可知道相应的c值。有了a值和c值就可以求出查全率和漏检率。

影响查全率的因素（漏检原因）主要有：

（1）标引方面：标引深度不够、标引前后不一致、标引词不当、组配不当、越级标引（即不遵守专指性规则）等；

（2）词表方面：词表结构不完善、词间关系含糊、专指词数量不足、同义词和多义词缺乏控制等；

（3）检索程序的功能方面：不具备截词功能、所提供的可检索途径不足等；

（4）系统与用户的交互方面：未进行反馈检索、用户的信息需求反映不充分、未进行充分的交互式对话等；

（5）检索策略方面：检索途径选择不当、选词与词表不符、相关词数量不足、检索用词太专、检索式网罗度不当、检索式用“逻辑积”太多、不恰当地用“逻辑非”等；

（6）数据库选择方面：未能选择相关的数据库或文档等。

2.查准率（Precision Ratio）

查准率是指检出的相关文献数与检出的文献总数之比，或称检准率、相关率。它是衡量一个检索系统的信号噪声比，测度检索系统拒绝非相关文献能力大小的一项指标（佩里和肯特，1956）。

公式表示：P＝检出的相关文献数/检出的文献总数×100%，换言之，P＝检出的符合需求的文献数/检出的文献总数×100%。在2×2表中，P=　a/　a+b×100%。与此相反，我们把系统检出的非相关文献数与检出的文献总数的比率称为误检率（Noise Ratio），其值为　b/　a +b×100%，它是查准率的补数。

影响查准率的因素（误检原因）主要有：(www.xing528.com)

（1）标引方面：过量标引、标引不对题、标引前后不一致、标引词不当、组配不当等；

（2）词表方面：词间关系不正确、索引词缺乏专指性、索引词缺乏控制等；

（3）检索程序的功能方面：不具备“逻辑非”等功能、一个检索式中允许用词的数量有限等；

（4）系统与用户的交互方面：未进行反馈检索、检索提问宽于或偏离信息需求、检索范围不明确等；

（5）检索策略方面：检索途径与检索词选择不当、截词部位不当、使用字面组配、检索式的网罗度不足、检索式中用“逻辑和”连接了不相关的词等；

（6）数据库选择方面：未能选择相关数据库等。

3.查全率和查准率的关系

查全率与查准率之间存在着互逆相关性，即查全率和查准率彼此之间表现出相互的制约关系。在评价检索质量时，对这一对指标必须综合考虑，不能偏废。如果只考虑查准率，那么只检出1篇最有把握的文档的查准率就是100%，但这样的话，符合需求的文档被检出的太少，不能满足全面了解相关信息内容的需要。同样，如果只追求查全率，则可以把所有的信息全端出来，查全率固然可以达到100%，但真正有用的内容就可能完全淹没在无用的内容当中了，不能快速而有针对性地满足用户的信息需要。据统计，在物理、技术科学领域中，P提高1%将导致R降低3%；而且不同学科专业检索特征曲线也会有所不同。在具体概念明确的化学等领域，特征曲线右移，误检较少；而在抽象概念较多的心理学等领域，特征曲线左移，误检增大。因此，任何检索系统的设计和检索策略的制订都要在查准率和查全率之间进行权衡。

克莱弗登通过克兰菲尔德实验证明，在同一个信息检索中，当查全率和查准率达到一定阀值，即查全率为60%～70%，查准率为40%～50%后，二者呈互逆相关，即查全率提高，查准率就会降低；反之亦然。其关系如图4.3所示（纵坐标为查全率，横坐标为查准率；左图是检索结果的回归分析，右图是检索结果的实际分布）。

图4.3　查全率R与查准率P的关系

注：*为查全率与查准率的一对性能指数点。左上角的点表示R值高而P值低，右下角则相反；左下角和右上角表示R和P同时高或低；中间区内各点表示R、P双双居中。

假定文献集合中共有相关文献250篇，检出文献500篇，其中相关文献200篇，那么　R=200　/250×100%=80%，P　=200　/500×100%=40%。为了提高查全率R，就需要扩大检索范围，增加检出相关文献数量，但这样却会导致查准率P相应降低，误检率增高。例如，假定文献集合中的相关文献还是250篇，检出文献750篇，相关文献全部检出，那么　R　=250　/250×100%=100%，P　=250　/750×100%=33.3%。同样的，为了提高查准率P，就需要缩小检索范围，减少非相关文献的输出量，用专指度很高的方式来查找，但这就必然会造成查全率R相应降低。假定文献集合中共有相关文献250篇，检出的100篇都是相关文献，那么　R=100　/250×100%=40%，P　=100　/100×100%=100%。

4.其他评价指标

（1）新颖率：从检索系统中检出来的对用户而言含有新颖信息的文献件数与文档中总相关文献数、检出的总文献数或检出的总相关文献数之比。这一指标特别适合于评价SDI服务的质量。

计算新颖率通常有3种方法：①新颖率＝检出的对用户新颖的文献数/文献库中与用户需求相关的文献数×100%；②新颖率＝检出的对用户新颖的文献数/检出的所有文献数×100%；③新颖率＝检出的对用户新颖的文献数/检出的与用户需求相关的文献数×100%。

（2）错检率：从检索系统中检出来的无关文献量与系统中无关文献总量之比，它与专指度存在互补关系。错检率＝检出的无关文献件数/系统中无关文献总件数×100%。

（3）覆盖率：在某一特定时间里，从某一检索系统中检索到的涉及特定主题领域的所有文献数与该主题领域相关的实有文献总数之比。覆盖率＝检索到的涉及特定主题领域的所有文献数/与该主题领域相关的实有文献总数×100%。这一指标反映某一文献库提供专门主题文献的范围大小，覆盖率越高，文献库包含的信息量越大，漏检的可能性也就越小。