1.启动集群环境
1)在Hadoop目录下启动:start-dfs.sh和start-yarn.sh,执行命令:
root@Master:/usr/local/hadoop/hadoop-2.7.1/sbin#./start-all.sh
2)在Spark目录下执行命令:
root@Master:/usr/local/spark/spark-1.6.3-bin-hadoop2.6/sbin#./start-all.sh
3)在Spark目录下启动HistoryServer:
root@Master:/usr/local/spark/spark-1.6.3-bin-hadoop2.6/sbin#./start-history-server.sh
4)启动Hive Metastore服务,命令如下:
root@Master:/usr/local/spark/spark-1.6.3-bin-hadoop2.6#hive--service metastore&
2.启动Thrift Sever
本案例以HTTP通道模式连接Thrift Sever,所以启动Thrift Sever时,请以HTTP模式启动,命令如下:
3.在Hive中准备数据(www.xing528.com)
为了运行本案例,我们必须在Hive数据库中创建一个名为people的表,该表有name、age两个字段,存储了下面几条测试记录:
我们可以通过下面的方法来创建测试数据。
1)首先创建一个名为people.txt的文本文件。
执行命令:vi/mnt/test/people.txt,文件内容如下:
2)连接Hive数据库:
3)创建people表:
4)此时可以查看一下people表的描述:
5)往pepole表中装载数据:
或者使用下面更简单的方式插入数据:
这种方法不需要创建测试数据文件。
6)查询pepole表,结果如下:
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。