基于深度度量学习的遥感图像检索系统设计和实现

深度度量学习在遥感领域的研究进展主要包括:为了更好地解决类内差异和类间相似的问题，Cheng G.等人(2018)通过增加一个度量学习正则化项，构建了一个判别能力更强的卷积神经网络，用于提升遥感图像的分类性能；Cao R.等人(2019)构建了一个用于增强遥感图像检索性能的三元组深度卷积神经网络；Roy S.等人(2020)提出一种基于度量学习的深度哈希网络用于遥感图像检索，不仅能够学习一种基于语义的度量空间，从而更好地表达遥感图像的内容，而且通过哈希编码有效地提高了检索的效率；Yun M.S.等人(2020)提出一个从粗到精的深度度量学习方法用于遥感图像检索，首先学习图像之间的二元关系，然后再训练学习图像之间的连续关系，以增强检索算法的鲁棒性；Hongwei Zhao等人(2020)提出一种基于相似性保持损失的(similarity retention loss，SRL)的深度度量学习策略并用于遥感图像检索，通过重新定义难例和容易样本，基于数据集类别的大小和空间分布挖掘正负样本，由于提出的SRL充分考虑了类内和类间样本的相似性结构，使得训练的模型更有效。

图5-7给出一个基于深度度量学习的遥感图像检索系统基本架构图。具体检索流程可以描述为:

(1)训练阶段:首先对预训练网络进行精调，利用预训练网络提取深度特征，并为训练小批量生成特征矩阵。通过内积运算，对特征矩阵进行相似度计算，得到相似度矩阵，然后利用相应的损失函数和困难对挖掘方案来提高正样本对的相似度，降低负样本对的相似度，从而优化嵌入空间。

(2)测试阶段:利用精调网络提取更具判别性的深度特征。接着对特征向量进行相似度计算(内积)运算，返回测试集的相似度矩阵。最后，根据每个查询的相似度返回前K个相似的遥感图像作为检索结果。

图5-7　基于DML的遥感图像检索基本架构图

本节以3个公开的标准遥感图像数据集UCMD、AID、PatternNet为例，从两个方面验证和分析深度度量学习用于遥感图像检索的性能:首先分析深度度量学习模型对于遥感图像检索性能的影响，然后分析不同的损失函数(包括对比损失、三元组损失、N-pair损失、提升结构化损失和Log Ratio损失)对基于深度度量学习的遥感图像检索性能的影响。

实验的环境配置及参数设置如下:

平台:Intel©i7-8700，11 GB memory CPU，Ubuntu 16.04.6LTS。

软件:CUDA 10.0.130 cudnn7.6.5 python3.6.10-pytorch1.5.0。

训练集和测试集的数据划分策略:UCMD数据集50%用于训练，50%用于测试；AID数据集50%用于训练，50%用于测试；PatternNet数据集80%用于训练，20%用于测试。

参数设置:学习率设置为0.00001；批次尺寸(batch size)设置为30；间隔(margin)设置为0.25；轮次(epochs)设置为1500；采用Adam优化器；嵌入尺寸(embedding size)为512。

一、深度度量学习模型对遥感图像检索性能的影响

首先通过对比基于深度度量学习的检索、基于深度特征的检索以及基于人工设计特征的检索的性能，分析深度度量学习模型对于遥感图像检索性能的影响。网络架构选用三元组网络，损失函数选择三元组损失函数。卷积神经网络特征参数如表5-1所示。

表5-1　卷积神经网络特征参数表

图5-8给出基于深度度量学习的检索、基于深度特征的检索以及基于人工设计特征的检索性能对比结果。实验参数为:轮次epoch＝1500，阈值τ＝1.25，α＝1.0；采用平均准确率作为评价指标可以看出，无论是采用不同的训练次数，或者改变阈值τ和阈值α(阈值τ用于控制负样本被推开的距离，阈值α用于控制正样本的聚集度，即正样本和负样本之间的距离)，基于深度度量学习的检索都具有更高的检索性能。

图5-8　基于DML、深度特征和人工设计特征的检索性能对比图

表5-2至表5-4列出以上三种方法应用于UCMD、AID、PatternNet三个标准数据集的检索性能。选择ANMRR、mAP和精确率作为评价指标。网络架构选用ResNet50，训练次数分别为600和1500，嵌入尺寸设置为512。可以看出，无论参数如何设置，基于深度度量学习的检索都具有更高的检索性能。

表5-2　深度度量学习、深度特征和人工设计特征的检索性能对比(以UCMD数据集为例)

表5-3　深度度量学习、深度特征和人工设计特征的检索性能对比(以AID数据集为例)(www.xing528.com)

表5-4　深度度量学习、深度特征和人工设计特征的检索性能对比(以PatternNet数据集为例)

图5-9至图5-11给出了DML、深度特征和人工设计特征应用于针对UCMD、AID、PatternNet三个遥感数据集上不同地物类别的检索性能对比结果，以ARMR-R和mAP作为评价指标。可以看出，在三个数据集上几乎所有类别的地物，基于深度度量学习的检索性能都要优于另外两种方法，特别是对于某些类别，如UCMD数据集的稠密住宅(dense residential)和网球场(tennis court)、AID数据集的工业区(industrial)和油罐(storage tanks)、PatternNet数据集的轮渡码头(ferry terminal)和游泳池(swimming pool)等，优越性尤为突出。图5-12给出三种方法分别应用于UCMD、AID、PatternNet数据集时的主观检索结果，分别以农田(agricultural)、工业区(industrial)和立交桥(overpass)作为查询类别。其中，红色框标出错误检索类别，并在其下注明所属类别。结果同样验证了深度度量学习用于遥感图像检索的优越性。

图5-9　DML、深度特征和人工设计特征应用于不同地物类别的检索性能对比(以UCMD数据集为例)

图5-10　DML、深度特征和人工设计特征应用于不同地物类别的检索性能对比(以AID数据集为例)

图5-11　DML、深度特征和人工设计特征应用于不同地物类别的检索性能对比(以PatternNet数据集为例)

图5-12　基于DML、深度特征和人工设计特征的检索结果(1)

图5-12　基于DML、深度特征和人工设计特征的检索结果(2)

图5-12　基于DML、深度特征和人工设计特征的检索结果(3)

二、损失函数对基于深度度量学习的遥感图像检索性能的影响

表5-5至表5-7对比了深度度量学习用于遥感图像检索时，采用不同的损失函数时的检索性能。其中网络架构选择ResNet50，训练次数为1500，嵌入尺寸为512。评价指标选择ANMRR，mAP和精确率。可以看出，总体而言，与其它损失函数相比三元组损失函数的性能更优。

表5-5　不同的损失函数用于深度度量学习的检索性能(以UCMD数据集为例)

表5-6　不同的损失函数用于深度度量学习的检索性能(以AID数据集为例)

表5-7　不同的损失函数用于深度度量学习的检索性能(以PatternNet数据集为例)