混沌时间序列预测理论与方法

核方法提供了一种非线性的处理方法，首先将数据通过一个非线性变换嵌入到一个特征空间，求取数据集的核矩阵[5]。核矩阵一般比原始数据具有更高的维数，但是能够通过非线性变换把线性不可分的数据升维，得到高维线性可分的数据，这样就可以使用线性处理方法。实际上，无需知道这个非线性变换的具体表达式，通过选择合适的核函数即可完成任务。核思想可概括为利用满足Mercer条件的核函数实现线性算法非线性化的数学手段，其基本思路是：

（1）假设有一个非线性变换，可将原始空间中的模式向量非线性地映射到某一个高维的特征空间中。

（2）在特征空间中设计一个线性算法或者采用一个已有线性算法，并且将其转化为仅涉及内积运算的优化问题。

（3）为了回避非线性映射的设计与具体形式，用满足Mercer条件的核函数来代替内积运算，从而推导出一个与样本数有关、与样本维数无关的优化问题。

（4）求解优化问题，得到原始空间中的一个非线性判别函数或者回归函数。

只要满足核函数半正定矩阵性质的函数，都可以作为核函数。常见的核函数有：

（1）线性核

kl（X，Y）=〈X，Y〉

其中，〈X，Y〉表示X和Y的内积。

（2）多项式核

kp（X，Y）=（〈X，Y〉+1）d

式中：d为多项式阶数。

（3）高斯核(www.xing528.com)

式中：σ为宽度参数。

（4）两层感知机核

kn（X，Y）=tanh（β0〈X，Y〉+β1）

式中：β0和β1为待定的系数。

统计学习理论是小样本统计估计和预测学习的最佳理论。与传统统计学相比，统计学习理论不仅考虑了推理规则渐进性能要求，而且追求在有限样本条件下的最优结果。V.Vapnik等从20世纪60～70年代开始致力于此方面的研究，到20世纪90年代中期，随着其理论的不断发展和完善，且神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越多的关注。

统计学习理论的一个核心概念就是VapnikChervonenkis（VC）维，它是描述函数集或学习机器的复杂性或者说是学习能力的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性、收敛速度、泛化性能等重要结论。

假设输出变量Y与输入变量X 之间存在某种对应的依赖关系，即某一未知概率分布P（X，Y），P（X，Y）反映了某种知识。学习问题可以概括为：根据l个独立同分布的观测样本，学习到一个假设H=f（X，W）作为预测函数，其中W 是广义参数。对于分布P（X，Y），学习的期望风险R（W）是

而对训练集上产生的风险Remp（W）称为经验风险（学习的训练误差）

其中Tn为训练样本个数。首先Remp（W）和R（W）都是W 的函数，传统概率论中的定理只说明了（在一定条件下）当样本趋于无穷多时Remp（W）将在概率意义上趋近于R（W），却没有保证使Remp（W）最小的点也能够使R（W）最小。

根据统计学习理论中关于函数集的泛化能力界的结论，对于两类分类问题中的指示函数集f（X，W）的所有函数（当然也包括使经验风险最小的函数），经验风险Remp（W）和实际风险R（W）之间以不低于1—η（0≤η≤1）的概率存在这样的关系：

式中：v是函数H=f（X，W）的VC维；Tn为样本数。

一般的学习方法（如神经网络）是建立在经验风险最小基础上，能够满足对已有训练数据的最佳拟合。在理论上可以通过增加算法的复杂度使得Remp（W）不 断降低。但是，VC维v增加，从而φ（v/Tn）增大，导致实际风险R（W）增加，从而导致过拟合的发生。