主成分分析及其基本模型

主成分分析是一种利用原始变量之间的相关性，通过原来变量的少数几个线性组合解释原来变量，以实现降维的多元统计方法。一般来说，利用主成分分析得到的主成分与原始变量之间有以下基本关系：

（1）每一个主成分都是各原始变量的线性组合。

（2）主成分的数目远远少于原始变量的数目。

（3）主成分保留了原始变量绝大部分信息。

（4）各个主成分之间互不相关。

假设研究对象是n个样品、p个变量的数据（n＞p），则可以将原始资料整理为以下矩阵：

X可以用向量形式表示为X0（X1，X2，…，Xp）。(www.xing528.com)

对X进行线性变换，可以形成新的综合变量，用Y表示：

式中，＋＋…＋＝1，k＝1，2，…，p。

这种线性变换有无数种，为取得最好的效果，对系数uij做出以下限定：

（1）Yi与Yj不相关（i≠j；i，j＝1，2，…，p）。

（2）Y1为X1，X2，…，Xp的一切满足式（6－4）的线性组合中方差最大者；Y2是与Y1不相关的X1，X2，…，Xp所有线性组合中方差最大者；……；Yp是与Y1，Y2，…，Yp－1都不相关的X1，X2，…，Xp的所有线性组合中方差最大者。

由以上原则决定的综合变量Y1，Y2，…，Yp分别称为原始变量的第1个，第2个，…，第p个主成分。其中，各个变量在总方差中所占的比例依次递减，通常在实际分析中选择前几个方差最大的主成分，以达到降维和简化问题的目的。