Hadoop完全分布式的安装和配置

先在主节点master主机上做安装Hadoop，然后，把master配置好的Hadoop发送给从节点slave0和slave1。

（1）主节点安装Hadoop。

在master主机终端执行如下shell命令：

1.sudo tar-zxf~/Downloads/hadoop-2.8.5.tar.gz-C/usr/local　#解压到/usr/local中

2.cd/usr/local/

3.sudo mv./hadoop-2.8.5/./hadoop　#将文件夹名改为hadoop

4.sudo chown-R hadoop./hadoop　#修改文件权限

执行shell命令vim~/.bashrc，编辑.bashrc文件，在文件中添加如下内容：

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行如下shell命令，让环境变量生效：

source~/.bashrc

（2）主节点Hadoop集群配置。

在master主机中，修改位于/usr/local/hadoop/etc/hadoop目录下的Hadoop配置文件：hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。

hadoop-env.sh：用来定义hadoop运行环境相关的配置信息；

core-site.xml：用来配置集群全局参数，用于定义系统级别的参数，如HDFS URL、Hadoop的临时目录等；

hdfs-site.xml：用来配置HDFS名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等；

mapred-site.xml：配置Mapreduce管理系统为yarn。

yarn-site.xml：配置ResourceManager，nodeManager的通信端口，web监控端口等。

1）修改hadoop-env.sh配置文件。

打开hadoop-env.sh文件，将当前位置切换到/usr/local/hadoop/etc/hadoop中，使用命令sudo vi hadoop-env.sh，命令执行后hadoop-env.sh文件被打开。在hadoopenv.sh文件中修改JAVA_HOME环境变量，将export JAVA_HOME=${JAVA_HOME}，修改为export JAVA_HOME=/usr/local/jvm/jdk1.8.0_162。

2）修改hdfs-site.xml。

注意：上述中2是指备份数目为2（总共2份）。

（3）配置masters和slaves文件。

切换至/usr/local/hadoop/etc/hadoop，使用ls命令可查看到存在slaves文件，并利用sudo cp slaves masters命令创建新文件masters。

在masters文件中写入NameNode主机名，其配置如下：

master

配置的slaves文件，分行写入DataNode的主机名，配置结果如下：

slave0

slave1(www.xing528.com)

（4）修改core-site.xml。

（5）修改mapred-site.xml。

首先复制mapred-site.xml.template，然后修改文件名为mapred-site.xml，修改内容如下。

（6）修改yarn-site.xml。

1）向2个子节点复制hadoop配置。

配置好后，将master上的/usr/local/Hadoop文件夹复制到各个节点上。在master节点主机上执行如下命令。

1.cd/usr/local/

2.rm-rf./hadoop/tmp　#删除临时文件

3.rm-rf./hadoop/logs/∗#删除日志文件

4.tar-zcf~/hadoop.master.tar.gz./hadoop

5.cd~

6.scp./hadoop.master.tar.gz slave0:/home/hadoop

7.scp./hadoop.master.tar.gz slave1:/home/hadoop

在slave0，slave1节点上执行：

1.sudo rm-rf/usr/local/hadoop/

2.sudo tar-zxf~/hadoop.master.tar.gz-C/usr/local

3.sudo chown-R hadoop/usr/local/hadoop

2）格式化集群。

在master主机上执行如下命令格式化集群。

1.cd/usr/local/hadoop

2.bin/HDFS NameNode-format

3）执行shell命令，启动hadoop集群。

sbin/start-all.sh

4）测试。

在master，slave0，slave1运行jps命令，查看安装是否成功；

hadoop@master:~$ jps

master运行jps后，若安装成功，如下所示。

在slave0、slave1运行jps，若安装成功，如下所示。