LPP中的数值计算问题优化

直接求解式（4－3）的最小广义特征值问题在数值计算中难以保证解的精度，将L＝D－W代入式（4－3），得

式中，β＝1－λ。这样式（4－3）的最小广义特征值问题转化为式（4－4）的最大广义特征值问题，容易控制解的精度。本章采取这种方法计算LPP的变换向量。

XWXT与XDXT是d×d对称半正定矩阵，d为原始数据空间维数。根据样本数n＞d或n≤d，均可通过下面的推导将式（4－4）的广义特征值问题进一步转化为一个实对称矩阵的普通特征值问题。

1.当n＞d时

实对称半正定矩阵XDXT存在谱分解：(www.xing528.com)

式中，Λ＝diag［β1，β2，…，βd］，β1≥β2≥…≥βd≥0及U＝［u1，u2，…，ud］分别为XDXT的特征值和特征向量。βi＝0，取，通过简单代数代换，式（4－4）转化为

2.当n≤d时

当样本数n小于原始空间维数d时，因为rank（D）≤n，XDXT是奇异的，不能直接计算广义特征值问题。当d≫n时，按照式（4－5）中的方法直接对XDXT做谱分解在计算负荷上也是不可行的。下面的推导将给出一个可行的计算方法。

令，则XDXT＝XXT。先求XTX的特征值和特征向量，类似于式（4－5），有XXT与XTX有相同的特征值矩阵Λ，其特征向量矩阵为则XXT的谱分解为XXT＝VΛVT。类似于式（4－6），式（4－4）转化为