如何构建IDE开发环境

在实际的项目开发过程中，建议读者使用熟悉的IDE来管理与构建项目。下面以IntelliJ IDEA（简称IDEA为例）。IDEA跨平台，可原生运行在Windows、Linux以及OSX等操作系统之上；社区版免费供开发者使用，足以应对一般的需求；内置对Maven的支持；通过安装插件可实现对Scala、Python、SBT的额外支持。IDEA的诸多特性能够极大提高Spark程序员的开发效率。在本节的最后会介绍如何使用IDEA来构建与运行一个基于Scala语言的项目。

1.下载与安装IntelliJIDEA

IDEA提供旗舰版和社区版两个版本供用户下载，如图2-13所示。社区版所提供的功能基本能够满足Spark的开发需求，在此建议读者下载免费版本，并按照官方说明安装IDEA。

图2-13 IDEA下载界面

2.安装Scala插件

打开IDEA，依次单击菜单栏的File→Setting，出现IDEA的设置界面，单击左侧的Plugins命令，单击弹出菜单左下角的Install JetBrains plugin按钮，在弹出菜单上方的搜索栏中输入Scala，单击出现的搜索结果，并单击右侧的Install plugin按钮，如图2-14所示。等待IDEA自动下载和安装Scala插件，安装完毕后重启IDEA即可。

图2-14 安装Scala插件

3.创建SBT项目

重新启动IDEA后，依次单击菜单栏的File→New→Project以新建项目，相比安装Scala插件之前，会多出创建Scala项目选项。单击Scala命令，选择SBT，单击Next按钮，如图2-15所示。设置向导页面中输入项目名和项目路径，ScalaVersion选择2.10.5，勾选Use auto-import选项，单击Finish按钮，如图2-16所示。

图2-15 创建SBT项目

图2-16 配置新项目信息

创建项目完毕后，IDEA会自动加载项目并下载相关依赖包，右下角会提示“1process running”，此时项目窗口显示的项目目录内容需等待项目加载完毕之后才会完整显示。

4.构建项目

编辑项目根目录下的build.sbt文件，在底部加上语句“libraryDependencies+="org.apache.spark"%%"spark-core"%"1.4.1"”，保存。由于之前创建项目时勾选了Use auto-import选项，所认IDEA会自动下载相关依赖包，如图2-17所示，此时等待依赖包下载和解析完毕。

(www.xing528.com)

图2-17 构建项目

接下来创建一个Scala程序。右键依次单击src→main→scala，弹出来的菜单中依次选择New→Scala Class，如图2-18所示，输入类名，选择创建Object，按<Enter>键在新弹出的文本编辑窗口中编写Scala代码。

图2-18 创建Scala程序

编写完毕后，右键单击main函数，在弹出的菜单中选择Run'LineCount'命令，如图2-19所示，IDEA会自动创建一个应用，main函数作为应用的入口，并运行程序。

图2-19 运行Scala程序

程序执行结果如图2-20所示。

图2-20 Scala程序运行结果

5.导出Jar包

菜单栏中依次单击File→Project Structure，在弹出的窗口的侧边栏中依次单击→“+” →JAR→From modules with dependencies，弹出窗口中选择自己编写的类，选择输出Jar包的位置，单击OK按钮即可。详细操作如图2-21、图2-22和图2-23所示。完成后菜单栏依次点击Build→Build Artifaces，编译生成Jar包，此后就能使用spark-submit来提交生成的Jar包。

图2-21 输出Jar包

图2-22 配置输出信息

图2-23 配置输出信息