HDFS体系结构优化分析

HDFS采用了主从结构构建，NameNode为Master（主），其他DataNode为Slave（从）。文件以数据块的形式存储在DataNode中。NameNode和DataNode都以Java程序的形式运行在普通的计算机上，操作系统一般采用Linux。一个HDFS分布式文件系统的架构如图6-2所示。

6.1.3.1　连线①

NameNode是HDFS系统中的管理者，对Metadata元数据进行管理。负责管理文件系统的命名空间，维护文件系统的文件树及所有的文件和目录的元数据。

6.1.3.2　连线②

当NameNode发生故障时，使用Secondary NameNode进行数据恢复。它一般在一台单独的物理计算机上运行，与NameNode保持通信，按照一定时间间隔保存文件系统元数据的快照，以备NameNode发生故障时进行数据恢复。

图6-2　HDFS架构图

6.1.3.3　连线③(www.xing528.com)

HDFS中的文件通常被分割为多个数据块，存储在多个DataNode中。DataNode上存了数据块ID和数据块内容，以及它们的映射关系。文件存储在多个DataNode中，但DataNode中的数据块未必都被使用，如图6-2中的空白块。

6.1.3.4　连线④

NameNode中保存了每个文件与数据块所在的DataNode的对应关系，并管理文件系统的命名空间。DataNode定期向NameNode报告其存储的数据块列表，以备使用者直接访问DataNode获得相应的数据。DataNode还周期性地向NameNode发送心跳信号提示DataNode是否工作正常。DataNode与NameNode还有进行交互，对文件块的创建、删除、复制等操作进行指挥与调度，只有在交互过程中收到了NameNode的命令后，才开始执行指定操作。

6.1.3.5　连线⑤

Client是HDFS文件系统的使用者，在进行读写操作时，Client需要先从Name-Node获得文件存储的元数据信息。

6.1.3.6　连线⑥⑦

Client从NameNode获得文件存储的元数据信息后，与相应的DataNode进行数据读写操作。