如何搭建高效的Hadoop集群

选择完全分布式搭建Hadoop 集群，需要依赖ZooKeeper 分布式协调系统进行协调管理，因此，需要安装ZooKeeper 集群。ZooKeeper 集群的角色节点划分见表3-2。

表3-2　角色节点划分

ZooKeeper 搭建过程如下。

登录ZooKeeper 官网，下载ZooKeeper，这里选择的版本是zookeeper-3.4.5，下载地址如下：

http：//archive.apache.org/dist/zookeeper/zookeeper-3.4.5/

将下载好的zookeeper-3.4.5 上传至mynode3 节点/software 路径下，进行解压：

在mynode3 节点上配置ZooKeeper 的环境变量，操作如下：

在ZooKeeper 路径/software/zookeeper-3.4.5/conf 下配置zoo.cfg 文件，操作如下：

将以上配置好的信息发送到mynode4、mynode5 节点，并按照上面的方式配置ZooKeeper的环境变量：

在mynode3、mynode4、mynode5 节点上分别创建路径/opt/data/zookeeper 存放ZooKeeper数据：

在mynode3、mynode4、mynode5 三个节点创建节点ID，在每台节点配置的dataDir 路径/opt/data/zookeeper 中添加myid 文件，操作如下：

在每台节点中启动ZooKeeper 集群并验证每台节点ZooKeeper 的角色，验证ZooKeeper 是否安装成功：

完成上述步骤后，ZooKeeper 安装成功，下面安装Hadoop 完全分布式集群。

在安装好ZooKeeper 系统的集群上搭建Hadoop。首先去Hadoop 的官网下载hadoop-2.6.5，下载地址如下：

https：//archive.apache.org/dist/hadoop/common/hadoop-2.6.5/

将下载好的hadoop-2.6.5.tar.gz 压缩包上传至mynod1 节点/software 路径下，解压：

解压完成之后，可以配置Hadoop 的环境变量，配置如下。

打开/etc/profile 配置Hadoop 的环境变量：

在/software/hadoop-2.6.5/etc/hadoop 路径中的hadoop-env.sh 中加入JAVA_HOME：

配置/software/hadoop-2.6.5/etc/hadoop/hdfs-site.xml 文件，配置内容如下：

配置/software/hadoop-2.6.5/etc/hadoop/core-site.xml 文件，配置内容如下：

配置/software/hadoop-2.6.5/etc/hadoop/yarn-site.xml 文件，配置内容如下：

配置/software/hadoop-2.6.5/etc/hadoop/map-site.xml 文件，配置内容如下：

配置/software/hadoop-2.6.5/etc/hadoop/slaves 文件，配置DataNode 节点信息，配置信息如下：

至此，Hadoop 的配置已经完成，现在将/software/hadoop-2.6.5 目录发送到mynode2、mynode3、mynode4、mynode5 节点上，同时，在这些节点上配置Hadoop 的环境变量，并使环境变量生效。(www.xing528.com)

此时，Hadoop 的配置在各个节点上已经全部完成，下面进行Hadoop 的格式化及启动。

·启动ZooKeeper：

·在mynode1 的NameNode 中格式化ZooKeeper：

·在每台JournalNode 中启动所有的JournalNode：

·在mynode1 上格式化NameNode：

·在mynode1 启动NameNode，同时，在mynode2 中执行同步：