回归分析的基本思想与分析流程

回归分析的基本思想是创建一个模型，匹配现有的预测属性的值，使得预测新样本的待预测属性时犯错较少。回归分析最简单的形式是找到匹配可用的预测属性值和预测值之间的曲线，取与数据点距离最小的曲线作为回归模型，从而通过预测属性值去推断预测值。

线性回归模型最为简单，其形式可描述为

式中:β0，β1为需要确定的未知参数；Yi为第i个样本的预测值；Xi为第i个样本的预测属性值，一般是向量；∈i指代剩余残差项或随机扰动项，对应其他因素对预测项的干扰。

在一个好的线性回归模型中，该项的影响应当较小。∈i具有如下特性:是随机变量；期望为0；一定时期中方差为常数；与自变量无关；各个∈i间相互独立。

基于一元线性回归模型的分析流程如下:

(1)建立理论模型:针对因变量Yi，寻找合适的自变量Xi，建立模型。

(2)估计参数:在Xi模型中，使用最小二乘法等方法估计(www.xing528.com)

(3)进行检验:在应用模型前评估其是否恰当。常用的指标有标准误差、判定系数和相关系数。

标准误差越小越好，其表达式为

判定系数为0～1，越接近1则拟合度越高，越接近0则拟合度越低，其表达式为

相关系数为－1～1，用于描述因变量和自变量之间的线性相关程度。相关系数大于0时，称X与Y正相关；相关系数小于0时，称X与Y负相关；相关系数等于0时称不相关。绝对值越大，相关程度越高。绝对值为1时称X与Y完全相关，其表达式为

使用回归模型可以进行点预测或方差预测。点预测即给定Xi，根据模型推测Yi；方差预测是给出在一定概率保证程度下的预测置信区间。