如何修改Hadoop配置文件？

修改Hadoop 的配置文件一定要在apache 用户下操作，否则会由于权限问题而导致Hadoop 集群配置失败。首先切换到Hadoop 的配置文件目录“cd /home/apache/hadoop-2.7.7/etc/hadoop/”，然后修改相应的配置文件。

（1）修改“hadoop-env.sh”

在Hadoop 中，以env.sh 结尾的文件通常是配置所需的环境变量。“hadoop-env.sh”文件主要配置与Hadoop 环境相关的变量。使用“vi hadood-env.sh”打开文件，修改“JAVA_HOME”的安装路径：“export JAVA_HOME= /home/apache/soft/jdk1.8.0_211”。

（2）修改“core-site.xml”

“core-site.xml”是Hadoop 的全局配置文件，主要配置Hadoop 的公有属性。首先递归创建目录“mkdir -p /home/apache/data/hdfs/tmp”，然后打开“core-site.xml”文件，用命令：“vi coresite.xml”，修改该文件内容。

配置中的属性说明如下：

（3）修改“hdfs-site.xml”

“hdfs-site.xml”文件主要配置和HDFS 相关的属性。

在“/home/apache/data/hdfs”目录下新建name 和data 目录，接着打开“hdfs-site. xml”文件。

修改“hdfs-site.xml”文件内容如下：(https://www.xing528.com)

（4）修改“mapred-site.xml”

“mapred-site.xml”是MapReduce 的配置文件，默认情况下Hadoop 中没有该文件，可通过执行“cp mapred-site. xml. template mapred-site. xml”复制一个，并进行编辑。为了使提交的MapReduce程序运行在分布式模式，而不是本地local 模式，可以指定由YARN 作为MapReduce的程序运行框架。

（5）修改“yarn-site.xml”

“yarn-site.xml”文件主要配置YARN 的一些信息。编辑“yarn-site. xml”文件，添加内容如下：

各个属性说明如下：

（6）修改“slaves”文件

“slaves”文件主要根据集群规划配置DataNode 节点所在的主机名，首先master 节点通过该文件获得集群的子节点名称，然后再通过“/etc/hosts”文件得到各子节点对应的IP，从而与自己进行通信。编辑slaves 文件“vi slaves”，将原文件中的localhost 删除，替换为slave1 和slave2，如图2.49 所示。

图2.49　修改slaves 文件