最大差异稀疏投影方法一方面建立多流形相似性度量，另一方面建立基于稀疏表示的多流形局部几何信息度量，在此基础上构建目标函数，寻找最佳投影子空间，实现高维数据的低维映射。最大差异稀疏投影方法中多流形的离散度将同约束最大差异投影方法一样，采用基于类别相似度的多流形相似度度量。下面将讨论基于稀疏表示的多流形局部几何信息度量。
7.4.2.1 基于稀疏表示的多流形局部几何信息度量
(1)稀疏表示
在过去的几年中，信号的稀疏表示受到了极大的关注，最初它被提出是为了代替传统的信号处理如傅里叶变换、小波变换等。采用稀疏表示可以从样本数据点中找到最简洁的线性组合表示方法。与基于正交变换的方法或直接的时域处理方法相比，稀疏表示通常能自适应地对信号进行建模，提高信号处理的效果。因此，对多流形两点间权重的计算可以引入稀疏表示的方法，而不是直接通过热核函数模型或简单地设定一个值。在MVSM中，其目标函数可以表示如下:
如果对稀疏表示稀疏进行和为1的约束，上式又可以转变为:
应用LASSO或者LARS算法可以解决L1范数最小化问题，然后对所有点重复该算法，获得稀疏权重矩阵S。对于所获得稀疏表示稀疏矩阵，可以发现有如下特点:
①每一个稀疏表示稀疏向量Si具有对称性。
约束条件Xi＝XSi决定了稀疏表示向量Si是旋转和缩放不变的。另外稀疏表示向量和为1也决定了稀疏表示向量Si是平移不变的。因此稀疏表示权重矩阵能反映高维数据内部存在的几何结构信息。
②稀疏权重矩阵S也体现数据的判别性能。
例如在人脸识别中，同一类人脸中某些数据组成该类人脸特征空间。任何一个未知类别人脸样本都可以由所有类的人脸特征空间线性表示，并且这些线性表示系数是稀疏的。因此通过线性表示系数的稀疏性，从稀疏表示系数中选择值不为0的个数最多的那一类数据的类别作为未知类别的人脸数据的类别。从这个意义上来说，稀疏表示系数还可以作为一种分类决策的判断依据，具有判别性能。
(2)基于稀疏表示的多流形局部几何信息度量
根据上面的讨论，一方面，稀疏表示能通过稀疏系数矩阵S自适应地选择近邻点，可以反映多流形内在的几何结构信息；另一方面，稀疏系数矩阵还可以提供很多的判别信息。因此MVSM方法通过稀疏表示建立多流形局部几何信息度量如下:(www.xing528.com)
7.4.2.2 线性特征提取
MVSM算法是一个基于流形学习的方法，不可避免地存在样本外点问题。因此，如果有一个线性变换可以将原始数据投影到一个具有最大流形离散度的子空间上，不仅能自然而然的克服结合外样本问题，而且也显示了它在分类上的优越性。因此，如果可以同时通过线性变换来实现子流形距离最大化以及局部子流形最小化，就能找到一个具有高识别率且低计算成本的最佳线性子空间。
首先，在高维数据与低维投影之间引入线性变换Y＝ATX，因此式(7.40)可以改写为:
借鉴CMVM方法中的基于类别相似度多流形相似度度量ATX(Q-H)XTA，结合基于稀疏表示得多流形局部几何信息度量，可以建立如下目标函数:
利用拉格朗日数乘法，可以将目标函数转化为求解如下特征分解:
因此线性变换矩阵A由以上特征方程中前d个最大广义特征值所对应的特征向量组成。
根据以上分析，可以总结MVSM方法的提纲如表7-5所示。
表7-5 MVSM算法提纲
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
