多模态特征综合分析实例：图像和音频特征的典型相关性分析

如上所述，不同类型的多媒体数据可以表达相似的语义，如:“老虎”的照片和“老虎”的叫声都表达了“老虎”的语义概念。如果采用CCA方法，计算“老虎”图像集和“老虎”音频集之间的相关性，在此基础上，进行视听觉特征降维和子空间映射，将训练样本所对应的全部特征向量都映射到一个低维的子空间中，不但可以统一地表达图像和音频数据，而且保持了原有特征之间的典型相关性。

采用Xn×p和Yn×q分别表示从图像数据集中提取的视觉特征矩阵，以及从音频数据集中提取的听觉特征矩阵，用Wx和Wy表示变换后的子空间基向量，Ln×m和Mn×m分别表示视觉特征矩阵和听觉特征矩阵的变换结果。定义相关系数为ρ＝r(L，M)，计算如下:

式中，Cxy表示视觉特征矩阵Xn×p和听觉特征矩阵Yn×q构成的协方差矩阵，那么，为了使映射后的矩阵L和M最大限度地在典型相关性上与原矩阵保持一致，就需要正确地求解子空间基向量Wx和Wy。CCA方法是在下列公式的约束下，进行相关系数ρ的优化和求解:

采用拉格朗日乘子法在上述条件下进行矩阵求解，先构造G函数:

G函数分别对Wx和Wy求导，可以得到如下方程组:(www.xing528.com)

由于相关系数ρ＝r(L，M)＝r(M，L)，可以证明G函数中系数λ1＝λ2，因此上述方程组变换为如下等式:

求解出子空间基向量之后，对初始的视觉特征矩阵和听觉特征矩阵分别做矩阵线性变换:XWx和YWy，则可以得到低维同构的子矩阵Ln×m和Mn×m，并且在最大限度上保持了X和Y之间的典型相关性。而求解过程中选取的特征值的个数决定了基向量的维数，从而决定了子矩阵Ln×m和Mn×m的维数。

对于特征根个数的选取和优化还没有特定的算法和计算依据，可以在实验过程中分别保留不同个数的特征根进行测试，计算降维前后的相关性取值，选择相关性保持最好的特征根个数。