1.预备条件
Spark的源码使用Scala语言编写,IDEA本身并不能编译Scala文件,因此需要为其安装Scala插件,安装方法可参见第2.2.2节中的部分内容。
2.导入Spark项目
打开IDEA,菜单栏依次单击File→Open,在弹出的窗口中选中之前构建好的Spark源码目录,如图2-26所示,按<Enter>键。IDEA会自动识别出该项目为Maven项目,读取并解析该项目文件。
图2-26 导入项目
项目读取完毕之后,如果直接构建源码,IDEA会报出许多错误,如图2-27所示。
图2-27 导入项目中出现的问题
3.构建Spark项目
需要进行一些额外配置。菜单栏依次单击File→Project Structure命令,弹出窗口的侧边栏中依次选择Modules→spark-streaming-flume-sink.2.10选项,右键单击target目录,弹出的菜单中选中Excluded选项以取消Excluded标签,如图2-28所示。
(www.xing528.com)
图2-28 构建项目
依次展开target→scala-2.10→src_managed→main→compiled_avro目录,右键单击compiled_avro目录,在弹出的菜单中选中Sources选项,标记为Sources目录。
图2-29 标记为Source项目
同样,将spark-hive2.10模块内的v0.13.1→src→main→scala目录标记为Sources目录,如图2-30所示。
图2-30 标记Source项目
菜单栏中依次单击Build→rebuild命令,之后等待构建完毕即可,结果如图2-31所示。
图2-31 构建项目
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。