针对遥感图像复杂场景的多标签检索优化方案

遥感图像通常是由多种地物构成的复杂场景，但是目前的遥感图像检索大多是针对不同类别或场景进行的单标签检索，特点在于:(1)图像库中的图像用各自包含的一种主要地物类别进行描述；(2)查询结果中，除了包含与查询图像相似的类别，通常还会包含其它地物类别，而这些类别是未知的。例如，以建筑物作为查询条件，返回的查询结果中可能除了建筑物之外，还包括与其同时出现的道路、树木等类别。可见，单标签难以有效、准确、全面地描述遥感图像内容，单标签无法满足用户更精细的检索需求(如查询包含停车场、公园和湖泊的遥感图像)。

多标签遥感图像检索主要包括影像多标签分析、特征提取及相似性度量三部分。其中，多标签分析指的是通过判断图像包含的具体地物类别，以获得描述图像的多标签向量，可以通过监督或非监督方法实现。监督方法方面，如通过图像分类获得图像的多种地物类别信息；B.Chaudhuri等(2018)提出一种非监督的标签传播方法，首先通过图像分割算法将图像分割成一系列同质区域，其次选择少量图像作为训练样本并对各训练图像进行多标签标注，然后通过标签传播基于标注的训练图像得到图像库中未标注图像包含的多标签，最后通过自动区域标注方法将图像的多标签赋给各分割区域。但是他们的标签传播算法依赖于人工设计特征实现多标签分析，限制了检索精度。类似的，O.E.Dai等(2018)提出一种基于空间和光谱信息的特征描述并用于遥感图像的多标签检索研究。受以上工作启发，Shao Z.等(2020)提出一种基于全卷积神经网络(FCN)的遥感图像多标签检索方法，充分利用了FCN通过多层次的网络结构对图像进行特征学习的同时，实现了由原始输入图像到分类结果图的映射，因此可以将多标签分析和特征提取整合到统一的网络框架中。

在遥感图像的多标签检索方面值得进一步深入开展的工作和研究的方向包括:

(1)多标签遥感数据集的构建。现有的遥感图像公开标准数据集，如RSD、RSSCN7、AID以及PatternNet等，均是基于单标签进行标注的。多标签遥感数据集只有:UCMD多标签数据集MLRSD、DLRSD和WHDLD，且地物类别数有限，分别为17、17和6。为了设计更有效的多标签分析方法，需要构建包含更多地物类别的更大规模的多标签遥感数据集。(www.xing528.com)

(2)多标签检索的相似性度量。

(3)将多标签检索与跨模态相结合，实现跨模态多标签检索算法。