检索行为、内容与相似性

基于内容的图像检索的本质问题有两个:一是如何用数学模型描述图像的内容，二是如何基于图像的抽象表达评估相似性。基于内容的图像检索的基本思想就是，依据描述图像内容的各种抽象表达进行近似的匹配。

一、检索行为

关于检索行为，一般分为三种:特定目标检索(target-search)、类别检索(category search)和关联检索(search by association)，可以从检索意图和宽泛性两个维度加以分析，如表2-1所示。其中，特定目标检索指的是用户有明确的检索意图，通过提交一幅包含待检索目标的示例图像，系统返回与之高度近似的检索集合；类别检索的含义要比特定目标检索宽泛，指的是用户明确想要检索的类别，系统返回的检索结果与提交的查询图像属于同一个类别，但存在差异性；关联检索的含义则更加宽泛，指的是用户对于检索的目标和类别都没有明确的意图，系统会根据用户浏览大数据集时选取的感兴趣图像，不断改进查询条件，使用户最终得到符合自己需求的检索结果。

表2-1　从检索意图和宽泛性两个维度上分析三种不同的检索行为

(www.xing528.com)

二、检索需求内容

无论哪种类型的检索，准确描述图像的内容都是影响基于内容的图像检索性能的关键。与基于文本的图像检索相比，文本是由人类创造产生的，而图像则是人们对自己所看见的景物的复制或重现，图像中包含的内容难以用语言做精准而具体的描述。过去的几十年间，研究人员致力于训练计算机学习理解图像，并对图像内容自动进行文本标注，取得了显著的成效。但是，相对于经历了漫长进化过程的人类视觉系统而言，计算机对图像的自动解译仍然有很长的路要走。这种由计算机从视觉数据中提取到的信息与用户在给定情境下对该数据的主观理解之间缺乏一致性而产生的差异，被称为语义鸿沟。早期的图像分析方法从基于像素的角度理解图像，通过人工设计各种特征提取算法获取对图像内容的表达。目前人们普遍认同要从语义的角度理解图像，即图像特征要能够表达那些显式或隐式包含在图像中的、最接近人类理解层面的信息。如何克服语义鸿沟，是包括图像检索在内的众多计算机视觉任务要解决的首要问题。

三、相似性

相似性是人们感知、判别、分类和推理等认知活动的基础，人类认识世界的过程正是将新的事物或者现象与人类已知的知识进行类比的过程。相似性，可以分为主观相似性和客观相似性。主观相似性是人的主观认知过程，是人们根据自己对世界的认识、所处的环境和判别的目的而做出的一种主观的、整体的判断；客观相似性是两个对象在多维空间中的某种函数关系，可以通过对其特征进行度量。相似性也可以分为概念相似性(conceptual similarity)和感知相似性(perceptual similarity)。概念相似性又称为语义相似性(semantic similarity)，指的是两个对象在抽象的概念或语义特征上的类似程度；感知相似性又称为视觉相似性(visual similarity)或物理相似性(physical similarity)，指的是两个对象视觉特征之间的类似程度。在基于内容的图像检索中，如何协调语义和视觉特征之间的相互关系，是图像相似性度量的重要问题。