集成学习：基本概念解析

集成学习是指为解决同一问题，先训练出一系列个体学习器（或称为弱学习器），再根据某种规则把这些个体学习器的学习结果整合到一起，得到比单个个体学习器更好的学习效果。集成学习的基本结构如图5－7所示。用来训练个体学习器的学习方法可以有多种，如决策树、人工神经网络等。

从上述概念可以看出，集成学习包括两大基本问题：一是个体学习器的构造，二是个体学习器的合成。下面先看第一个问题，第二个问题稍后讨论。根据个体学习器构造方式的不同，集成学习可以有两种解释。

图5-7　集成学习的基本结构(www.xing528.com)

（一）同质集成

同质集成要求构造个体学习器时使用相同类型的学习方法，构造出的多个个体学习器为同质学习器。所谓同质，是指同一类型，如要使用决策树都为决策树，或者要使用神经网络都为神经网络。这种采用相同学习方法构造个体学习器的集成学习称为狭义集成学习，其个体学习器称为基学习器，所用的学习算法称为基学习算法。

（二）异质集成

异质集成不要求构造个体学习器时使用同一类型的学习方法，而是可以异质。所谓异质是指不同类型，如可以同时使用决策树和神经网络去构造个体学习器。这种集成学习又称为广义集成学习，构造个体学习器所用学习算法不再称为基学习算法，构造的个体学习器也不再称为基学习器，而直接称为个体学习器。在集成学习发展的早期，同质集成学习用得较多，随着集成学习自身的发展和应用的深入，人们更倾向于异质集成学习。