基于图模型的全局相关性推断分析

正如前文所述，不同类型的多媒体数据集间存在复杂的数据关系，可以将其大致划分为模态内部和模态之间两种数据关系。这些数据关系并不是孤立存在的，可以借助跨媒体关联图，找到它们之间潜在的互补性，使得不同的数据关系相互传递、相互影响，从而优化对整个数据集的检索效率。

下面介绍一种全局相关性推理方法，如图10-4所示。其中，Oi，Oj，Oa，Ob表示图像和音频样本，其中，Oa是Oi的图像近邻，Ob是Oj的音频近邻，虚线表示cross-media的相关性，实线表示intra-media的相似度。

图10-4　全局相关性推理示意图

由于Oi和Oj对应的跨媒体关联矩阵LIA中元素值rij＝0，因此，跨媒体关联图中Oi和Oj之间没有相连接的边。虽然Oi和Oj之间不存在直接关联，但是，可以通过全局相关性推理计算其跨媒体相关性。

图像、音频和视频数据在跨媒体关联图中通过cross-media的相关性，以及intra-media的相似度这两类关系相互关联。因此，可以通过全局推理的方式找到图像Oi和音频Oj之间潜在的相关性。由于图像Oa与音频Oj之间的跨媒体相关性不为零，因此，图中的路径〈Oi，Oa，Oj〉可以用来衡量Oi和Oj之间的跨媒体距离，计算如下:

(www.xing528.com)

同理，可得与Oi关联的音频Ob，则有

假设D1是所有〈Oi，图像，Oj〉类的路径中的最小值，D2是所有〈Oi，音频，Oj〉类的路径中的最小值，则Oi和Oj之间的跨媒体距离可以通过下列公式计算:

上述公式中，相关性取值LI(i，a)，LA(b，j)，LIA(a，j)均对应跨媒体关联矩阵M中的相应元素值mij，为了更清楚地说明所取的相关关系是intra-media还是cross-media类型，所以使用LI(i，a)，LA(b，j)，LIA(a，j)来表示相应的元素值M＝[mij]。

由于视频、图像和音频都是以同构的方式共同存在于跨媒体关联图中，视频与图像、视频与音频之间的跨媒体距离也可以用上述方法计算得到。

由此可见，这种全局相关性推理方法充分利用了多媒体数据集中各种数据关系，根据其中的互补性挖掘了潜在的跨媒体语义，使得跨媒体距离的计算结果能够更准确地反映语义关系。因此，当用户提交一幅图像(或音频、视频)作为查询例子时，检索系统可以根据跨媒体距离，计算出与之最近，也就是最相关的图像、音频和视频，并作为检索结果返回给用户。