高维数据流形学习方法

下面对流形学习中所涉及的一些名词给出相关的数学定义。

Hausdoff空间:如果对于任意集合X中的两个点Xi和Xj，都存在Xi的邻域U和Xj的邻域V，使得这两个邻域不相交，即U∩V＝∅，则称集合X所在的空间为Hausdoff空间。

流形:假设M是一个Hausdoff拓扑空间，若对每一个点p∈M，都有p的一个开邻域U与Rd空间中的一个开子集同胚，则称M是d维拓扑流形，简称d维流形。

坐标卡:假定φ(U)⊂Rd与U同胚，其中φ(U)是Rd中的开集，则(U，φ)称作流形M的坐标卡，φ(p)在Rd中的坐标称为点p在流形M上的坐标。

根据流形的定义，可以将流形学习中维数约简过程概括为:假设数据是均匀稠密采样于一个高维欧氏空间中的低维流形，流形学习就是从高维采样数据中探测出低维流形结构，即找到高维空间中的低维流形，求出相应的嵌入映射，实现维数约简或数据可视化。流形学习的过程就是从观测到的现象中寻找事物的本质，以找到产生数据的内在规律。

降维的数学定义如下:

降维:给定n个数据点X＝{X1，X2，…，Xn}∈RD×n，存在映射f:RD→Rd，d≪D；或者给出另一种结果Y＝{Y1，Y2，…，Yn}∈Rd×n，d≪D。则Y＝{Y1，Y2，…，Yn}被称为X＝{X1，X2，…，Xn}的降维。

拓扑空间:一个拓扑空间就是一个集对(X，τ)，其中集合X为一非空集合，拓扑τ是X满足以下性质的子集:

①τ关于属于它的任意多元素的并运算是封闭的；

②τ关于属于它的有限多元素的交运算是封闭的；

③τ含有空集和X本身作为其元素。(www.xing528.com)

Cr相关:假定(U1，φ1)和(U2，φ2)是d维流形的两个坐标卡，当U1∩U2≠∅时，φ2◦φ-11:φ1(U1∩U2)→φ2(U1∩U2)和它的逆映射都是r阶可微的，则称(U1，φ1)和(U2，φ2)是Cr相关的。

微分结构:一个d维流形就是一对(M，Λ)，其中M是d维流形，Λ＝(Uα，φα)α∈Λ为Cr微分结构，并且满足以下条件:

①局部欧氏性:{Uα，α∈Λ}构成M的开覆盖，φα:Uα→φα(Uα)⊂Rd为同胚映射；

②Cr相关性；

③最大性:若U为M的开集，φ:U→φ(U)⊂Rd与Λ中的每一个(Uα，φα)都相关，则(U，φ)∈Λ。

Cr微分流形:假设M是d维流形，若在M上指定了一个Cr微分结构Λ，则称(M，Λ)为一个d维Cr微分流形。

光滑流形:在Cr微分流形中，当r＝∞时的流形就是光滑微分流形。

光滑映射:假设M和N是两个光滑微分流形。g:M→N是连续映射。设x∈M，若存在M在点x处的局部坐标(U，φ)及N在点g(x)处的局部坐标系(V，ψ)，使得ψ◦g◦φ-1:φ(U∩g-1(V))→ψ(V)在点φ(x)处是光滑映射的，则称点映射g在点x处是光滑的。处处光滑的映射简称为光滑映射。

Riemann流形:如果在光滑流形M的每个切空间Tx0M中都定义了内积，则称M为Riemann流形。

流形学习:设Y⊂Rd是一个低维流形，f:Y→RD是一个光滑嵌入，其中d＝D。数据集{yi}是随机生成的，且经过f映射为观察空间的数据{xi＝f(yi)}。流形学习就是在给定样本集{xi}的情况下重构f和{yi}。