变量选择与逐步回归：重要考点解析

考情提要

考点精讲

（一）变量选择过程

选择自变量的原则通常是对统计量进行显著性检验，检验的根据是：将一个或一个以上的自变量引入到回归模型中时，是否使残差平方和（SSE）显著减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型。确定在模型中引入自变量xi是否使SSE显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量。

变量选择的方法主要有向前选择、向后剔除、逐步回归、最优子集等。

（二）向前选择

向前选择：从模型中没有自变量开始，然后按照下列步骤选择自变量来拟合模型。

向前选择步骤如下：

第一步：对k个自变量分别拟合与因变量y的一元线性回归模型，共有k个，然后找出F统计量的值最大的模型及其自变量xi，并将其首先引入模型。

第二步：在已经引入模型的xi的基础上，再分别拟合引入模型外的k-1个自变量的线性回归模型，即变量组合为xi+x1，…，xi+xi-1，xi+xi+1，…，xi+xk的k-1个线性回归模型。然后分别考查这k-1个线性模型，挑出F统计量的值最大的含有两个自变量的模型，并将最大的那个自变量xj引入模型。如果除xi之外的k-1个自变量中没有一个是统计上显著的，则运算过程终止。如此反复进行，直至模型外的自变量均无统计上的显著性为止。

向前选择变量的方法是不停地向模型中增加自变量，直到增加自变量不能导致SSE显著增加为止。(www.xing528.com)

（三）向后剔除

向后剔除的基本过程如下：

第一步：先对因变量拟合包括所有k个自变量的回归模型。然后考查p（p＜k）个去掉一个自变量的模型（这些模型中的每一个都有k-1个自变量），使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除。

第二步：考查p-1个再去掉一个自变量的模型（这些模型中的每一个都有k-2个自变量），使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除。如此反复进行，一直将自变量从模型中剔除，直到剔除一个自变量不会使SSE显著减小为止。这时模型中所剩的自变量都是显著的。上述过程可以通过F检验的P值判断。

（四）逐步回归

逐步回归：将向前选择和向后剔除两种方法结合起来筛选自变量。

逐步回归法是在增加了一个自变量后，它会对模型中所有的变量进行考查，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除。按此方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少，这个过程可通过F统计量来检验。逐步回归法中，在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中。

真题精练

名词解释：逐步回归法。

【2018武汉理工大学】