加权最小二乘法的原理与应用

为了便于说明问题，以一元线性回归模型为例

且存在异方差的形式为Var（ui）=σ2i=σ2 f（Xi），其中σ2为常数，f（Xi）为Xi的某种函数。对式（5-18）按照最小二乘法的基本原则，是使残差平方和为最小。在同方差性假定下，普通最小二乘法是把每个残差平方（i=1，2，…，n）都同等看待，都赋予相同的权数1。但是，当存在异方差性时，方差越小，其样本值偏离均值的程度越小，其观测值越应受到重视。即方差越小，在确定回归线时的作用应当越大；反之方差越大，其样本值偏离均值的程度越大，其观测值所起的作用应当越小。也就是说，在拟合存在异方差的模型的回归线时，对不同的应该区别对待。从样本的角度，对较小的给予较大的权数，对较大的给予较小的权数，从而使更好地反映对残差平方和的影响。通常可将权数取为，由此，当越小时，wi越大，当越大时，wi就越小。将权数与残差平方相乘以后再求和，得

式（5-22）称为加权的残差平方和。根据最小二乘原理，若使得加权的残差平方和最小。

续上面案例：运用加权最小二乘法（WLS）解决异方差问题。

(www.xing528.com)

在运用WLS法估计过程中，我们分别选用了权数。权数的生成过程如下，由表5-5，在对话框中的Enter Quation处，按如下格式分别键入：w1=1/X；w2=1/X^2；w3=1/sqr（X），经估计检验发现用权数w2t的效果最好。下面仅给出用权数w2t的结果。

表5-5　加权回归结果

其估计结果如下

括号中数据为t统计量值。

可以看出运用加权小二乘法消除了异方差性后，参数的t检验均显著，可决系数大幅提高，F检验也显著，并说明：平均说来，人口数量每增加1万人，将增加2.953个卫生医疗机构，而不是引子中得出的增加5.3735个医疗机构。虽然这个模型可能还存在某些其他需要进一步解决的问题，但这一估计结果或许比引子中的结论更为接近真实情况。