基于深度度量学习的遥感图像智能检索技术

如何度量两个样本之间的距离或相似性，是机器学习和计算机视觉的重要问题，在基于内容的图像检索中有非常重要的地位。一个好的距离度量模型，直接影响到机器学习算法的性能。传统的距离度量大多是首先对数据样本做归一化预处理，然后采用某个预设距离函数计算样本之间的相似性。图像检索系统中常用的距离度量函数包括欧氏距离、直方图交、余弦距离等，都是将图像的视觉特征向量视为向量空间中的点，用两点之间的距离表示它们所对应的图像之间的距离，以此衡量图像之间的相似性。这种基于向量空间的距离度量虽然计算简便，但是在实际应用中与人类的视觉感知有很大的差异，且对于数据的鲁棒性很差。而且针对相同的检索任务，不同的距离度量模型可能产生不同的排序结果。遥感图像数据具有比自然图像更加明显的背景复杂多样、目标信息丰富、噪声干扰严重、尺度依赖等特点，即使是从相同区域获取的数据，也可能因为成像条件不同而包含不同的语义信息，这对于距离度量模型的选择提出了更高的挑战。

因此，研究人员想到，如果能够结合数据自身特点，“学习”一种最优距离度量模型，使得语义类别相同的图像之间距离最小化，而语义类别不同的图像之间距离最大化，则可以满足不同的应用需求。这种根据不同的任务自主学习出特定的距离度量模型的想法，正是“度量学习”(metric learning，ML)的基本思想。目前已经针对度量学习方法开展了广泛的研究，并且在人脸识别、图像分类、目标识别、多媒体检索、跨模态匹配等视觉理解任务中取得了成功的应用。与传统的欧氏距离等度量函数相比，度量学习通过学习得到距离度量模型，能够克服人工设计距离度量函数的局限性，有效增强特征的判别能力，更符合人类视觉感知特性。

度量学习方法通常可以分为非监督和监督两大类。非监督度量学习试图学习一种低维子空间保持样本之间距离信息；监督度量学习则通过利用训练样本的信息对目标函数进行优化，从而寻找一种合适的距离度量模型，是目前研究的主流。然而，传统的度量学习方法通常是学习一种线性映射，无法保持数据样本之间的非线性关系。尽管研究人员提出通过核函数解决非线性问题，但是在实际应用中存在核函数的选择困难且不够灵活等问题。

受深度学习在描述非线性数据方面强大能力的激励，近几年来，融合了深度学习和度量学习的深度度量学习(deep metric learning，DML)得到了格外的关注。深度度量学习利用深度神经网络结构，学习一种从原始样本到嵌入空间的非线性映射。在该映射下，采用常用的距离函数(如欧氏距离)就可以反映样本之间的相似性:类内样本距离更近，类间样本距离更远。深度度量学习将特征学习和距离度量学习统一到一个框架中，充分利用了深度神经网络强大的特征学习能力和端到端训练的优势，能够有效克服传统度量学习在处理类别数多而类内样本数有限任务时的一些局限性，如缺少类内约束、分类器优化困难等，已经成为近年来机器学习最具吸引力的研究热点之一，不仅在计算机视觉领域有成功的应用，在文本和语音数据分析任务方面也表现出优越的性能。(www.xing528.com)

度量损失函数在深度度量学习中起到了非常重要的作用，常用的损失函数包括对比损失、三元组损失、四元组损失、n-pair损失、提升结构化损失等。此外，网络架构和样本选择策略也是影响深度度量学习性能的重要因素。在网络架构方面，在深度度量学习中常用的两种典型的网络架构是Siamese网络和Triplet网络，它们分别利用成对约束和三元组约束训练网络；在样本选择策略方面，深度度量学习对于数据有高度依赖性，即使已经创建了良好的数学模型和网络架构，如果只是简单的随机选取数据样本，依然会导致模型收敛缓慢，使得网络的学习能力有限。为了提高网络的特征判别能力，可以仅挖掘对训练更有意义的正负样本，即“难例挖掘”(hard negative mining)，或者选择比类内样本距离远而又不足够远出间隔的类间样本来进行训练，即“半难例挖掘”(semi-hard negative mining)。

深度度量学习在遥感图像检索和分类方面的研究还比较有限，已提出的方法包括在传统的深度学习模型的目标函数中嵌入度量学习正则化项、通过构建三元组深度神经网络将遥感图像数据映射到语义空间、提出新的损失函数如三角损失函数和相似性保持损失函数等，基于深度度量学习的遥感图像智能检索还有待进一步深入研究。