Hadoop集群测试运行

可以在master 节点上运行Hadoop 的程序，以验证整个集群是否正常。

（1）运行Hadoop 自带的MapReduce 例子求pi

切换到目录“/home/apache/soft/hadoop-2. 7. 7/share/hadoop/mapreduce/”，运行命令“hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 10 10”，启动10 个Map 和10 个Reduce 任务求pi 值，如果结果如图2.56 所示，则表明Hadoop 集群正常。

图2.56　MapReduce 求pi 的结果

（2）运行Hadoop 自带的WordCount 程序

在master 终端输入命令“start-all.sh”启动Hadoop。

①创建目录“mkdir /home/apache/data/test”，在这个目录下创建文件“vi wctest.txt”，并输入以下内容：

②在HDFS 文件系统中创建一个hdfstest 目录，执行命令“hdfs dfs -mkdir /hdfstest”。命令执行成功后，可使用命令“hdfs dfs -ls /”进行查看，如图2.57 所示。

图2.57　HDFS 文件系统上新建目录(www.xing528.com)

③切换到“/home/apache/data/test”目录，将本地的“wctest. txt”文件上传到hdfstest 目录中，命令为“hdfs dfs -put wctest.txt /hdfstest”，上传成功后可以看到HDFS 文件系统的hdfstest目录下多了一个名为“wctest.txt”的文件，如图2.58 所示。

图2.58　上传测试文件到HDFS

④运行Hadoop 自带的WordCount 程序。

程序运行完成后，通过命令“hdfs dfs -cat /hdfstest/output/∗”查看运行结果，如图2.59所示。

图2.59　WordCount 运行结果

也可以通过Web 界面查看运行结果。在浏览器中输入“http：/ /master：50070”，单击Utilities 菜单下的“Browse the file system”，查看HDFS 文件系统。在搜索框中输入“/hdfstest/output”，可以查到运行结果，如图2.60 所示。“_SUCCESSS”文件是MapReduce 作业运行成功的标志，“part-r-00000”文件是MapReduce 作业的最终运行结果，下载后即可查看，结果与图2.59的一致。

图2.60　Web 界面查看运行结果

以上结果显示WordCount 测试运行没有问题，说明Hadoop 集群构建成功。