传统度量学习模型的示例

本节介绍几种传统度量学习模型的基本思想以及基于度量学习模型的检索算法步骤。

一、LMNN

大间隔最近邻(large-margin nearest neighbors，LMNN)是针对kNN分类器的马氏距离度量学习的改进方法。LMNN的主要思想是通过计算输入样本与所有训练样本的距离，统计与输入样本距离最近的训练样本标签(类别)，在所有训练样本的标签(类别)范围内根据距离大小进行投票，票数最多的类别就是分类结果，从而确定该样本的类别，最后找出和该样本最接近的k个样本。其中k个样本属于同一类别，不同类别样本之间的距离不小于某一最大间隔(large margin)。因为直接比较输入样本和训练样本的距离，LMNN算法也被称为基于实例的算法，算法性能高度依赖于距离度量。

二、ITML(www.xing528.com)

信息理论度量学习(information theoretic metric learning，ITML)属于一种优化策略。信息理论度量学习通过最小化两个在马氏距离约束下的多变量高斯分布之间的可微相对熵，把距离函数转化为相同类别的样本之间距离最小、不同类别之间的距离最大的相似性约束。ITML需要满足两个条件:一是符合给定的相似性约束，二是确保学习的度量接近初始距离函数。其中，马氏距离可以看作矩阵M为单位阵的情况，将矩阵M转换映射到一个高斯模型，可以用散度来度量不同矩阵M之间的相似性。

三、LDML

逻辑判别距离度量学习(logistic discriminant based metric learning，LDML)是一种基于概率论的距离度量学习方法，将度量学习问题视为核逻辑回归问题。LDML的基本思想是利用训练样本的成对约束信息所建立的概率密度函数来表征目标函数，通过极大似然估计来学习距离度量，将距离相似度转换为概率相似度，从而获得输入样本的相似集合。