非参数模型：局部参数化方法的理论和应用

当维数很小的时候，全局参数化模型可以采用三种处理方式：分片化、局部参数化以及粗糙度惩罚方法.局部参数化方法的基本思想是将区域D划分为若干子区域，然后在每一个子区域分片地做简单的参数化函数（通常为低阶多项式）并且要求在任意点处连续或者低阶导数连续.每一个子区域（节点）和区域边界上两个分片函数连续性共同决定了逼近函数的灵活性和光滑性.因而，样条函数作为分片多项式是局部参数化方法的最佳选择.但是，样条回归在高维的推广因为受限于维数祸根问题，而难以被应用.设响应变量Y是随机变量，协变量X是随机变量或非随机变量.给定随机样本{（Xi，Yi），1≤i≤n}，可建立如下回归模型：

其中m（·）是未知的回归函数，εi为随机误差.假定ε1，···，εn独立同分布，并且满足：

（1）X为非随机时：E（εi）=0，Var（εi）=σ＜∞，此时，E（Yi）=m（Xi）.

（2）X为随机时：E（εi|Xi）=0，Var（εi|Xi）=σ2（Xi）＜∞，此时E（Yi|Xi）=m（Xi）.

非参数回归模型对回归函数的形式不加限制，对协变量和响应变量的分布也很少限制，因而具有较强的稳健性和适应性.非参数回归模型是基于数据的模型，它假定协变量和响应变量的关系形式未知.

局部参数化逼近有如下的形式

其中，g是简单参数化的函数（6.85）.与整体参数化逼近不同，这里的参数值在每个点x上通常是不同的并且由如下的局部加权最小二乘法得到：(www.xing528.com)

其中，根据点x′与X的接近程度来选择权函数ω（x，x′）（2n个变量）的权重.

最常用的选取权函数的方法是

其中，|x-x′|是x和x′的距离权重，S（x）是尺度因子，K是核函数.

粗糙度惩罚逼近定义为

其中，R（g）是衡量函数g（X）粗糙程度的指标，随着g（X）粗糙程度的增加而递增；λ代表g的光滑度与其对数据的保真性之间的一种平衡.常用的罚函数为Laplace平方协调函数

对于n≤3，上式对应于Laplace光滑样条（薄板样条）逼近；对于n≥3的薄板罚样条具有更加复杂的形式，感兴趣的读者可以参考文献[86].