首页 理论教育 安装配置Sqoop:详细步骤和注意事项

安装配置Sqoop:详细步骤和注意事项

时间:2023-06-24 理论教育 版权反馈
【摘要】:修改“sqoop-env.sh”的内容,设置Hadoop 和Hive 的安装路径。Sqoop 有内置的Zoo-Keeper,可以直接使用,不用再进行配置。图9.5修改configure-sqoop 文件添加数据库驱动包Sqoop 是Hadoop 和传统关系型数据库之间进行数据传递的桥梁,使用JDBC 来访问关系型数据库,需要添加数据库驱动包。本章选择的是MySQL 数据库,将“mysql-connector-java-5.1.38.jar”包复制到Sqoop 的lib 目录下。图9.6查看Sqoop 版本图9.6查看Sqoop 版本连接MySQL 测试。图9.7Sqoop 连接MySQL 测试图9.7Sqoop 连接MySQL 测试

安装配置Sqoop:详细步骤和注意事项

(1)下载并解压Sqoop

到网站下载Sqoop 安装包“sqoop-1.4.6. bin__hadoop-2.0.4-alpha. tar. gz”,将其上传到master 节点的“/home/apache/package”目录中,然后在该目录中执行命令并将安装包解压到“/home/apache/soft”目录,并重命名为“sqoop-1.4.6”。

(2)修改sqoop-env.sh 文件

在默认情况下,并不存在“sqoop-env.sh”文件,需要先创建一个。进入Sqoop 安装目录的conf 目录,将“sqoop-env-template. sh”重命名为“sqoop-env. sh”,命令为:“mv sqoop-env-template.sh sqoop-env.sh”。修改“sqoop-env.sh”的内容,设置Hadoop 和Hive 的安装路径。“HADOOP_COMMON_HOME”是Hadoop 的环境信息,“HADOOP_MAPRED_HOME”用于配置Hadoop 的MapReduce 存放目录,这两者必须有。因为本章需要使用Hive 数据仓库,所以还需要配置Hive 的路径。如果需要用到HBase,则还要添加HBase 的路径。Sqoop 有内置的Zoo-Keeper,可以直接使用,不用再进行配置。其修改如下:

(3)修改bin/configure-sqoop 文件

将“bin/configure-sqoop”文件中关于“HCAT_HOME、ACCUMULO_HOME 和ZOOKEEPER_HOME”的检查注释掉,如图9.5 所示。

图9.5 修改configure-sqoop 文件(www.xing528.com)

(4)添加数据库驱动包

Sqoop 是Hadoop 和传统关系型数据库之间进行数据传递的桥梁,使用JDBC 来访问关系型数据库,需要添加数据库驱动包。本章选择的是MySQL 数据库,将“mysql-connector-java-5.1.38.jar”包复制到Sqoop 的lib 目录下。

(5)进行测试

在Sqoop 安装目录的bin 目录下,输入version 命令可查看Sqoop 的版本,如图9.6 所示。

图9.6 查看Sqoop 版本

连接MySQL 测试。Sqoop 通过JDBC 连接MySQL,输出数据库信息,命令为:“bin/sqoop list-databases --connect jdbc:mysql:/ /master:3306/ --username hive --password Hive@123”,输出结果如图9.7 所示。

图9.7 Sqoop 连接MySQL 测试

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈