扩展实验：测试传统PCA与CMFSS子空间在图像与音频检索性能中的对比

通过基于线性变换的子空间映射方法，数据集的映射结果是否呈现出一定的语义关系?CMFSS子空间中图像数据集和音频数据集是如何分布的?在扩展实验中将针对该问题进行测试和分析。

前两节跨媒体检索实验可以看成是全局意义上的，本节讲述的扩展实验是从局部意义上测试了子空间中的数据关系。全局数据关系和局部数据关系在一定程度上是相互影响、相辅相成的，因此，虽然图像检索和音频检索不是本书的直接重点，但对跨媒体检索有着间接的影响。

传统的PCA方法已被证明在去噪、主成分选取方面是一种有效的特征分析工具，实验中采用8.5.2小节中的方法计算PCA子空间中数据点的坐标，与CMFSS子空间进行了对比。图8-8以图像为例，分别提取CMFSS子空间和PCA子空间中的第一维和第二维坐标值，构造了二维可视化的示意图，对比了映射之后图像数据点在子空间中的分布情况。

图8-8　图像数据集在子空间中的分布示意图(www.xing528.com)

图8-8(a)、(b)分别是PCA子空间和CMFSS子空间闪电、猴子、轮船、马四个语义类别的图像数据分布示意图。其中，红色圆圈表示“闪电”类别的图像数据，蓝色的三角形表示猴子、马和轮船三个类别的图像数据。可以看到，在CMFSS子空间中，大部分“闪电”类别的图像聚类在一个相对集中的区域，与其他三个语义类别的图像基本上实现了区分；PCA方法得到的数据分布图中不同类别的数据点彼此之间重叠性较大。

为了测试所有十个类别的图像和十个类别的音频在CMFSS子空间中的分布情况，扩展实验测试了子空间中图像检索和音频检索的性能。按照8.2节中介绍的CrossM_dis距离公式，作为相似度计算依据，在检索过程中，按照相似度大小从高到低，选择最相似的多媒体数据，作为结果返回给用户。图8-9显示了CMFSS子空间中图像检索和音频检索的平均结果。

图8-9　图像检索和音频检索的平均结果

从图中可以看到，当返回结果个数为35时，图像检索和音频检索中分别返回了25.5和29.1个正确结果，这说明了:相关性保持映射将初始的图像和音频特征向量投影到一个同构的子空间中，而且变换之后图像数据之间和音频数据之间形成较好的聚类效果。这也验证了8.3节中在介绍相关反馈算法之前给出的假设，也是全局范围内跨媒体检索和相关反馈得以有效实施的前提。