Hadoop2.0新特性之Federation详解

Federation 即为“联邦”，该特性可理解为一个HDFS 集群中允许存在多个相互独立的NameNode 同时对外提供服务，这些使NameNode 可以通过增加机器来进行水平扩展。每个NameNode 分别进行各自命名空间和块管理。

如图6.2 所示，通过水平扩展名称节点（NameNode），使得单个NameNode 的负载分散到多个节点中，在HDFS 数据规模较大时，不会降低HDFS 的性能。HDFS Federation 中，所有名称节点会共享底层的数据节点存储资源，数据节点向所有名称节点汇报，属于同一个命名空间的块构成一个“块池”。

新特性的设计主要可以解决以下几个问题：

（1）HDFS 集群扩展性

不再像HDFS 1.0 中那样由于内存的限制制约文件存储数目，一个集群可以扩展到更多的节点，随着HDFS 中NameNode 的增多，每个NameNode 分管一部分目录且彼此之间相互隔离，通过多个NameNode 将元数据的存储和管理分散到多个节点中。

(www.xing528.com)

图6.2　HDFS Federation 架构图

（2）性能更高效

多个名称节点管理不同的数据，且同时对外提供服务，将为用户提供更高的读写吞吐率。

（3）良好的隔离性

用户可根据需要将不同业务数据交由不同名称节点管理，这样不同业务之间影响很小。可以通过多个命名空间来隔离不同类型的应用，将不同类型应用的HDFS 元数据的存储和管理分派到不同NameNode 中。