多元统计分析中的参数估计方法

多元线性回归中常见的参数估计方法有普通最小二乘法。普通最小二乘法（ordinary least squares，OLS）其原理是选择估计值使回归残差的平方和最小（Tilke C，1993），并且该原理不受模型中解释变量个数的影响。比如，对于一元线性回归模型，假设从总体中获取了n组观察值（x1，y1），（x2，y2），…，（xn，yn），对于平面中的这n个点，可以使用无数条曲线来拟合。而多元线性回归就是要求样本回归函数尽可能好地拟合这组值，也就是说，这条直线应该尽可能地处于样本数据的中心位置。因此，选择最佳拟合曲线的标准可以确定为：使回归残差的平方和达到最小。利用最小二乘法的思想，根据观察到的n组观察值，代入公式（3-1）得到样本回归方程：

继续求得回归残差平方和：

当Q对b0，b1，…，bk的一阶偏导数都为0，然后算出使Q最小的b0，b1，…，bk，解出b0，b1，…，bk的唯一的一组解。该解为β0，β1，…，βk的最小二乘估计。

比如，最小二乘估计的向量和矩阵形式：

回归方程的向量表示(www.xing528.com)

回归残差向量：

由公式（3-5）可得到残差平方和：

由于最小二乘估计的思想是：寻找一组参数估计值B，使得Q的值最小。即当Q对b0，b1，…，bk的一阶偏导数都为0时，求解如下：

得到x′xB＝x′Y，于是B＝（x′x）－1 x′Y