响应建模中的机器学习模型探析

复杂作用关系过程的响应建模从本质上来讲也是一类回归问题，而回归估计则是机器学习的基本问题之一。根据机器学习的基本模型，在响应建模中，系统S是研究的作用关系过程。G代表用来获取样本点的实验设计方法，如因子设计、CCD设计、空间网格设计等。LM是拟合响应过程所采取的方法，包括一阶、二阶多项式模型、核函数回归模型、人工神经网络模型、Kriging模型以及支持向量回归机模型等。根据拟合方法的不同，损失函数L（y，f（x，α））可以是最小二乘估计、最大似然估计、最小化经验风险、最小化泛化风险等。

一般来说，回归问题的样本数据基本上来源于历史数据，而且样本量比较大。而对于响应建模来说，一方面可以通过精心设计的实验去有目的地获取样本量，以最小的代价来拟合模型；另一方面，实验方案还要遵循一定的准则，如拟合一阶模型的因子设计、拟合二阶模型的CCD设计，对实验点的位置有严格的要求。非参数方法、支持向量回归机虽然对实验点的位置没有严格要求，但是由于受到实际生产条件、实验成本等多方面的制约，所能够得到的样本量一般比较小。(www.xing528.com)

由上述分析可以认为，响应建模是一类有限制条件的、可以主动获取样本点的小样本机器学习问题。这样就可以在机器学习的框架之下来研究响应建模的相关问题，并且为小样本机器学习理论——支持向量回归机的引入提供基础，进而发展出一种全新的响应建模方法。