偏最小二乘法的应用及优点

预测误差影响因素众多，各因素间关系复杂，且误差模式随时间发生变化，采用传统的多元线性回归进行分析效果有限。偏最小二乘法（PLS）集主成分分析、典型相关分析和多元线性回归分析的优点于一身，是常用的误差校正方法之一。与传统多元线性回归模型相比，偏最小二乘回归的特点是可以在自变量存在多重相关性的条件下进行回归建模，并允许在样本点个数少于变量个数的条件下进行回归建模。

下面介绍偏最小二乘的建模原理。

设有q维因变量Y=｛y1，y2，…，yq｝和p维自变量X=｛x1，x2，…，xp｝，一共有n个样本。偏最小二乘回归需分别在X与Y中提取出主成分。设｛t1，t2，…，tr｝为X的主成分，（u1，u2，…，ur）为Y的主成分，其中r=min（p，q），需满足：

（1）t1和t2应尽可能大地携带它们各自数据表中的变异信息。

（2）t1和t2的相关程度能够达到最大。

这两个要求表明，t1和u1应尽可能好的代表数据表X和Y，同时自变量的成分t1对因变量的成分u1又有最强的解释能力。在第一个成分t1和u1被提取后，偏最小二乘回归分别实施X对t1的回归以及Y对u1的回归。如果回归方程已经达到满意的精度，则算法终止；否则，将利用X被t1解释后的残余信息以及Y被t1解释后的残余信息进行第二轮的成分提取。如此往复，直到能达到一个较满意的精度为止。具体算法如下：

首先将数据做标准化处理。设X的标准化的观测值矩阵为(www.xing528.com)

设Y的标准化的观测值矩阵为假设t1=X0w1，u1=Y0c1，w1与c1需满足：

因此，w1是对应于矩阵X′0Y0Y′0X0最大特征值的特征向量，c1是对应于矩阵Y′0X0X′0Y0最大特征值的特征向量。分别求X0和Y0对t1的两个回归方程：

根据最小二乘估计的原理，则

若第一对主成分并未将相关的信息提取完，需要再重复上述工作，在残差矩阵E1和F1中再提取第二对主成分。如此循环，最终可得

由此建立Y与X的回归关系。