首页 理论教育 安装和配置JDK、R、SSH和Spark控制脚本

安装和配置JDK、R、SSH和Spark控制脚本

时间:2023-06-21 理论教育 版权反馈
【摘要】:安装完毕之后执行如下命令检查JDK是否已经被正确安装,命令返回结果会因安装JDK版本而异。$javac-versionjavac 1.7.0_79如果读者希望能够使用R语言编写Spark程序,那么还需要在本地安装R解释器,在Ubuntu下可以通过执行如下命令安装。$sudo apt-get update&&sudo apt-get install r-baseSpark控制脚本依赖安全外壳协议来执行对整个集群的操作,启动、停止整个集群。搭建集群,需要在主节点上安装好SSH客户端,在所有节点上安装好SSH服务端。在Ubuntu环境下,可以通过以下命令安装OpenSSH Client和OpenSSH Server。

安装和配置JDK、R、SSH和Spark控制脚本

Spark使用Scala语言编写,运行在Java虚拟机(JVM)当中,因此需要在系统中安装Java 6或者更高版本,考虑到后期的开发需求,建议读者直接从Oracle官网(http://www.oracle.com/technetwork/java/javase/downloads/index.html)上下载合适的JDK(Java Development kit)版本并安装,安装过程中将JAVA_HOME环境变量的值设置为Java的安装目录,PATH环境变量添加Java安装目录下的bin目录。安装完毕之后执行如下命令检查JDK是否已经被正确安装,命令返回结果会因安装JDK版本而异。

$javac-version

javac 1.7.0_79

如果读者希望能够使用R语言编写Spark程序,那么还需要在本地安装R解释器,在Ubuntu下可以通过执行如下命令安装。(www.xing528.com)

$sudo apt-get update&&sudo apt-get install r-base

Spark控制脚本依赖安全外壳协议(Seavre Shell,SSH)来执行对整个集群的操作,启动、停止整个集群。搭建集群,需要在主节点上安装好SSH客户端,在所有节点上安装好SSH服务端。在Ubuntu环境下,可以通过以下命令安装OpenSSH Client和OpenSSH Server(OpenSSH是SSH的一种开源实现)。

$sudo apt-get update&&sudo apt-get install openssh-client openssh-server

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈