高维数据流形学习：未来研究展望

流形学习已经成为当前机器学习领域研究的一个热点。作为维数约减或特征提取方法大家族中的一种，流形学习方法能有效地解决以往线性维数约减方法和其他非线性维数约减方法所不能解决的一些问题。对于线性维数约减方法，当原始数据集是非线性分布时，线性维数约减方法将破坏原始数据之间的拓扑结构，不能有效地探索存在这些数据间的内部规律。而对于其他的一些非线性特征提取方法，它们虽然能够从某些数据中有效地降低维数，但是这种维数约减是以提高算法的计算复杂度为代价的。另外，这些非线性方法也不一定都能很好地探索非线性分布数据的内部结构。

流形学习方法的提出，从某种程度上解决了这些问题。流形学习方法是建立在一种局部线性全局非线性假设的基础上的，因此在这种算法框架下，原始数据之间的局部拓扑关系就能够通过局部线性的方法完整地保留下来。从这种意义上说，流形学习方法是一种特别有效的数据可视化方法。但是，面对数据分类任务时，流形学习方法也暴露出很多问题，例如小样本问题、样本点外学习能力问题等。而且原始的流形学习方法对噪声很敏感，在噪声的干扰下，流形学习方法的降维效果将受到很大的影响。因此，本书从面向分类的流形学习方法中存在的问题着手，提出了一些比较有效的解决方法。

流形学习理论的丰富，给特征提取方法的发展提供了广阔的空间，也极大地推动了模式分类在各行各业中的应用。但是，流形学习方法作为一种非线性特征提取方法，针对的主要是非线性分布的数据，其主要特点是能够保存非线性数据中的局部几何结构。因此，流形学习方法的应用还存在很多局限性，在很多方面还需要继续完善和发展。对于流形学习方法而言，目前的研究进展已经进入一个“瓶颈”阶段，解决好这些问题，将有利于流形学习甚至机器学习的发展。因此，未来如何开展基于流形学习的方法及应用研究，是一个值得关注和探讨的问题，下面将从以下几个方面对未来流形学习方法的研究方向进行展望。

(1)流形学习方法的本征维数的确定。

流形学习方法作为一种维数约简方法，能够将原始的数据映射到一个特征空间。从理论上讲，流形学习方法能够有效地探测出原始数据的本征维数。目前也提出了一些方法来确定数据的本征维数。但是，这些方法都只是针对某一具体应用对象来进行的，而不是一种通用的或者统一的标准。同时，从应用的角度出发，如果能够通过一种统一的标准来确定数据的本征维数，那么就可以应用流形学习算法直接从原始数据中提取相应的本征维数，这样就既容易预测数据的类别，又降低了算法的计算复杂度。而在实际应用中，往往需要通过反复的实验来确定使识别效果达到最好的特征维数。因此，如何建立一种统一有效的本征维数的估计方法，将对流形学习的发展及其应用具有很大的推动作用。

(2)样本外点学习能力问题。

样本外点学习能力问题是限制流形学习方法应用于数据分类的一个重要原因。很多学者已经提出了线性化、核化、张量化以及一些其他的解决样本外点学习能力的方法，虽然这些方法能够有效地解决样本外点学习问题，有的甚至还降低了算法的计算复杂度，例如线性化方法。但是这些方法都是对原始的流形学习方法的扩展，或者是对原始的流形学习方法的某种近似，也就是说，原始的流形学习方法在经过扩展后发生了改变。例如原始的流形算法是一种非线性方法，但是经过线性扩展后，数据之间的局部结构信息虽然也得到了保留，但是整个数据之间的结构却从非线性的被强制性地转换为线性的，即数据之间的结构受到一定程度的破坏。因此，如何提出一种本身就具有很强泛化能力的流形学习算法，将是未来研究的一个方向。(www.xing528.com)

(3)设计原创性的流形学习方法。

在本书中，虽然提出了一些基于流形学习的维数约减方法，并得到实验的验证，但是这些基于流形学习的维数约减方法都是在他人提出的流形学习方法的基础上发展起来的，而且这些方法只是采用某种措施来改进这些流形学习算法的一些缺点。如果能够结合某些具体问题的需要，设计出一种区别于现有方法的原创流形学习方法，将是对流形学习方法发展的一个极大的丰富和补充。从另外一个角度来说，也将推进流形学习方法的发展。因此，如何建立原创性的流形学习方法将是一项具有重大意义的工作。

(4)基于领域适应流形学习方法。

流形学习方法发展到现在，已经得到了极大的丰富和扩展。但是这些方法都是建立在样本数据是服从相同或统一分布的基础上的。如果流形学习方法所处理的数据并不是服从同一种分布，那么应用一种分布数据所建立的流形学习方法模型，能否很好地处理遵从另外一种分布的数据呢?因此，如何结合不同数据的分布类型，设计出高效的流形学习方法也是一个值得期待的研究方向。另外，当前流形学习的应用对象已经不仅仅只是一种数据，很有可能是几种甚至多种数据的混合，不同类型的数据有可能有各自独特的数据分布规律，那么对应这样复杂的数据，如何建立普遍使用的流形学习模型，实现复杂数据的高效处理。因此对于不同分布类型的数据，设计能对其进行领域适应学习的流形模型，将有利于从复杂数据挖掘更充分的数据结构信息，提高复杂数据的利用效率和效果。

(5)大数据时代的流形学习分析方法。

当前世界已经进入了大数据发展时代，数据呈现了几何级数增长的趋势。大数据的发展对流形学习方法的发展也提出了新的要求，要求能针对大数据的特点，设计运算速度更快、效率更高的新型流形学习方法，能在较短时间内充分地挖掘蕴含在大数据中的信息。另外，大数据发展使得所包含的数据不仅仅是人脸、手写体数字、掌纹数据和视屏等数据。当前流形学习方法主要应用在图像数据的识别，肿瘤基因数据的分类以及机械故障数据的诊断等。因此，设计更好的流形学习方法，并将其应用到更多更复杂的数据中，比如经济数据、Internet数据和医学数据等，不仅能拓宽流形学习方法的应用，也能促进国民经济的发展。特别是在当前社会，如何将流形学习方法推广应用到其他一些影响国计民生的现实问题中，都是未来流形学习研究的一项重要工作。