引入新数据的跨媒体检索与人机交互优化

如果查询例子不在数据库中，则此查询例子称为新数据。本章前面的内容都是针对数据库中已有的多媒体数据而言的，当出现了新数据时，需要采用其他的数据处理方法，使新数据能够融入到检索系统中，确切地说，就是能够被定位到CMFSS子空间中，获得相应的坐标，从而可以用前面的检索算法和相关反馈算法进行跨媒体检索和人机交互。

从前面的介绍可以看到，CMFSS算法针对不同类型的图像和音频数据集，分析了特征矩阵在统计意义上的相关性，是以整个数据集为对象进行统计分析的，而不是针对个别的多媒体数据。因此，当出现了新的多媒体数据，前面的子空间映射方法不能直接使用。用符号Z来表示新数据，分下列两种情况将Z定位到子空间中:

第一种情况:CMFSS算法属于基于统计分析的线性映射，在训练过程中分别为每个语义类别求出了子空间基向量Wx，Wy。因此，如果用户提交的图像查询例子Z不在数据库中，但是，已知Z所属的语义类别，如:“爆炸”，则系统可以找到子空间映射过程中计算得到的“爆炸”基向量Wx(Explosion)，通过线性变换Pos(Z)＝v·Wx(explosion)(其中v为Z的特征向量)，得到新数据Z在子空间CMFSS中的坐标；

第二种情况:如果用户只提交了图像查询例子Z，而没有给出关键字，即:未知Z所属的语义类别，则可以结合用户交互来确定Z的坐标。Z在CMFSS子空间中的坐标可以按照下列两个步骤计算:(www.xing528.com)

步骤1　提取z的底层特征，使用欧氏距离为度量标准，选取与z相同类型的多媒体数据库，计算z的K近邻，并作为结果返回给用户；

步骤2　用户标注若干个反馈正例{y1，…，yi，…，yk}，设yi(i∈[1，k])在m维子空间CMFSS中的坐标表示为yi＝(yi1，yi2，…，yim)，则z的CMFSS坐标为(z1，z2，…，zm)，其中zk＝Mean(y1k+y2k)。

当计算出新数据在CMFSS子空间中的坐标后，以Z为查询例子的跨媒体检索则可以用本章前面部分介绍的算法实现，同样，在检索过程中可以采用相关反馈算法，动态地修正Z与其他多媒体数据之间的距离，从而提高新数据的检索效率。