随着多媒体技术和Web技术的日新月异，出现在人们日常生活中的不仅仅是单一模态的图像或者文本，而是包含不同模态数据的综合体。这就使得对不同模态数据的综合挖掘和统一理解越来越重要。其中，跨媒体检索正是针对不同类型的数据，提供一种灵活的检索模式，突破了传统多媒体检索方法对单一数据类型的限制。跨媒体检索是近年来新的研究和应用热点。
如何实现跨媒体检索?关键在于跨媒体相关性的度量，方法之一是从底层特征之间的数据关系出发，挖掘特征层次的跨媒体相关性。然而，要度量不同类型的多媒体数据之间的特征相关性是十分困难的。例如:图像和音频虽然在语义上可以是相关的，表达相似的语义，但是图像的颜色、纹理和形状，与音频的衰减截止频率、质心、均方根等特征是完全不同的特征属性，难以直接计算两者之间的相关性。
一幅“老虎”的图像和一段“老虎”的叫声，都与“老虎”这个语义概念相关；然而，在特征层面来看，“老虎”的图像可以对应一个200维的视觉特征向量，“老虎”的叫声可能对应一个500维的听觉特征向量，如何计算这两个不同维数、不同属性的向量之间的相关性呢?显然，对于单个的图像和音频样本，无法计算这种特征相关性，但对于图像数据集和音频数据集，就可以从整体上统计分析和挖掘特征矩阵之间的潜在关联。特征是语义的载体，这种数据关联一定程度上反映了语义上的相关性，可以以此为依据计算跨媒体相关性。(www.xing528.com)
具体地，该采用什么样的统计分析方法处理异构的多媒体特征，现有的多媒体特征分析方法大多是针对单一类型的多媒体数据，如:图像特征或音频特征，难以直接移植和使用。本章将介绍一种典型相关性分析(Canonical Correlation Analysis)方法，用于对异构的特征矩阵进行数据关系挖掘，以及如何通过特征层次上的统计相关性，估计图像和音频在语义层面上的相关性，从而实现跨媒体检索。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
