如何搭建和设置IntelliJIDEA开发环境

因为Spark集群在生产中都是部署在Linux系统中，这里我们只讲在Ubuntu下的IntelliJ IDEA搭建和配置。

（1）安装JDK，在前面的章节我们已经安装成功了JDK，这里不再做介绍。为了获得最好的支持，JDK的版本一定要是1.6以后的。

（2）安装Scala。Spark对Scala的版本也有一定的要求，所以必须要下载指定的Scala安装包。前面的章节我们已经安装成功，这里不再做介绍。

（3）安装Intellij IDEA。下载Intellij IDEA安装包，因为免费的“Community Edition FREE”版本完全满足我们开发的需要，所以建议大家选择此种版本。下载好后解压到自己新建的文件目录中。同时为了方便使用IntelliJ IDEA的bin命令，建议在“～/.bashrc”文件里配置IntelliJ IDEA的环境变量。配置完后记得使用“source～/.bashrc”命令使配置生效。

（4）在IntelliJ IDEA中安装Scala插件。为了在IntelliJ IDEA中配置Scala插件，需要先打开IntelliJ IDEA，在命令终端直接输入以下命令即可打开。

在IntelliJ IDEA中选择“Configure”选项→“Plugins”选项下的“Browse repositories”按钮，在弹出的界面中输入“scala”搜索插件，然后点击相应安装按钮进行安装（如图3-7、图3-8、图3-9和图3-10所示），最后重启IntelliJ IDEA使配置生效。或者通过选择“File”菜单→“Settings”选项，在弹出的界面中搜索“Plugins”选项，弹出Plugins界面，后面的步骤跟上一种方法一样。

（5）配置Spark应用开发的环境。配置Spark的应用开发环境，主要指的是在建立的Scala工程里面，把Spark应用程序所依赖的Spark的Jar包、Scala的Jar包还有安装好的JDK导入进来。具体步骤是在IntelliJ IDEA中新建一个Scala Project（名称可以自己定），这里我们新建的工程名是FirstSparkApp。然后选择“File”选项→“project structure”选

图3-7 IntelliJ IDEA的“Configure”选项

图3-8 IntelliJ IDEA的“Plugins”选项(www.xing528.com)

图3-9 点击“Plugins”选项后弹出的界面

项→“Libraries”选项，然后选择“+”，导入相应的Spark和Scala的Jar包（如图3-11所示）。

图3-10 安装Scala插件

图3-11 配置Spark的应用开发环境

JDK的安装也是直接在“Project Structure”界面下点击“project”选项后，在弹出的对话框中的“Project SDK”选项里设置即可（如图3-12所示）。

图3-12 导入JDK

至此，IntelliJ IDEA的Spark开发环境就搭建起来了，下面的小节我们进行在IntelliJ I-DEA下开发并部署Spark应用程序的实践操作。