图像检索性能评价指标优化方案

衡量一个图像检索性能，需要一系列量化的评价指标。客观、全面的性能评价，对于改进检索性能而言至关重要。设计检索性能评价指标时，既要充分考虑检索结果的质量，同时也要考虑运行的时间和空间效率。常用的图像检索性能评价指标包括精确率(precision)和召回率(recall)、平均查准率(AP)和平均查准率均值(mAP)及ANMRR等。

一、精确率和召回率

精确率(precision)和召回率(recall)是图像检索系统广泛使用的检索性能评价指标。其中，精确率定义了系统返回的查询结果中，与查询图像相似的图像数量占本次返回图像总数的比例，反映了检索结果的准确程度，又叫查准率，用P表示；召回率定义了系统返回的查询结果中，与查询图像相似的图像数量占整个图像集中所有相似图像总数的比例，反映了检索结果的全面程度，又叫查全率，用R表示。

对于一次查询，如果从“是否相似”和“是否被检索到”两个维度对整个图像集进行划分，可以将图像集划分为:“相似且被检索到”“相似但未被检索到”“不相似但被检索到”“不相似且未被检索到”4个子集(如图2-5所示)，则精确率P和召回率R可以通过式(2.15)计算得到。为了更直观地反映检索性能，可以采用Precision-Recall(PR)曲线来表示，即以召回率作为横坐标轴、精确率作为纵坐标轴绘制的曲线。

图2-5　精确率(precision)和召回率(recall)

显然，精确率和召回率越高，表明系统的检索性能越好。但在检索过程中，精确率与召回率之间往往会呈现出此消彼长的变化趋势。例如，随着返回图像数量的增加，召回率会呈现出下降趋势，精确率会呈现出升高趋势。因此，常用另一个指标F-Measure来对精确率和召回率进行综合评价，根据公式(2.16)计算得到。F-Measure值越大，检索性能越好。

尽管精确率和召回率从两个不同的角度对检索性能进行评价，但是精确率往往会被认为更重要。这是因为，比起检索结果是否全面，用户更关注的是返回的图像中是否包含了尽可能多的相似图像，高的精确率往往会带给用户更好的检索体验。而且，随着数据量的增加，尽可能返回全部相似图像的难度也随之增大。在实际应用中，精确率常常采用P＠k的形式来表示，即当返回图像的数量固定为某个值时的精确率。其中，k表示一次检索中返回的图像数量，因此，P＠k表示的是返回图像数为k时的查准率。

二、平均查准率均值

平均查准率均值(mean average precision，mAP)是针对多次查询的平均准确率的衡量标准，也是评价检索系统性能的常用指标。给定一系列查询结果，mAP定义为所有查询的平均查准率的平均值。设查询次数为Q，则mAP可通过式(2.17)计算得到。

其中，AP(q)表示第q次查询的平均查准率:(www.xing528.com)

式(2.18)中，N为检索到的相似图像数量，K为图像集中未被检索到的相似图像数量，N和K的和即为图像集中相似图像的总数；k为返回图像的排序，P(k)表示截断值为k时的精确率，即P＠k；r(k)为指示函数，当返回图像序列中排序为k的图像是相似图像时，r(k)＝1，反之则r(k)＝0。

可见，与精确率和召回率相比，平均查准率均值兼顾了返回的相似图像在检索结果中的排序，可以更好地反映图像检索的性能。

三、平均归一化修正检索秩

平均归一化修正检索秩(averaged normalized modified retrieval rank，ANMRR)是MPEG-7推荐的一种检索性能评价指标。同样的，对于一个查询q，设N为检索到的相似图像数量，K为图像集中未被检索到的相似图像数量，用NG(q)＝N＋K表示图像集中与查询图像相似的图像总数；R(k)表示第k幅相似图像在返回结果中的排序，ANMRR可由式(2.19)计算得到:

其中，K(q)是一个常数，是对排序较高的项的惩罚，一般取值为2NG(q)。由此，可根据式(2.17)进一步得到归一化的修正检索秩NMRR(normalized modified retrieval rank):

ANMRR的值在[0，1]范围之内，ANMRR值越小，表示检索性能越好。

四、等效查询代价

衡量一个检索系统最直观的评价指标是检索结果是否与查询图像高度相似，因此大量研究致力于提高检索质量。但是，随着数据量的增加，人们越来越关注检索的效率问题。相应的，需要制定一些从时间和空间等方面对检索系统进行评价的指标。例如，Paolo Napoletano等人定义了一个衡量一次查询所需计算代价、独立于计算机架构的指标——等效查询代价(Equivalent Query Cost，EQC)，由式(2.22)计算得到:

式中，C为基本计算代价，表示当视觉描述子的长度为B时，在整个数据集上执行一次查询所需要的代价；B设置为5，对应于实验中最短的视觉描述子(共生矩阵)的长度；符号代表取整。

除了客观的量化指标之外，也需要从主观上评价用户对于检索结果的满意程度。