Driver和Executor的日志管理技巧

除了WebUI，另一个可以获取到程序执行时具体信息的地方是Driver和Executor的日志。这些日志包含了程序执行时很多的细节，如代码抛出的警告和异常等，这些信息也有助于性能诊断。

日志文件的地址跟程序运行的模式有关。在Standalone模式下，这些日志在Master的WebUI上可以直接显示出来，其物理位置默认情况下存储在Worker结点Spark根目录下的work目录下；在Mesos模式下，可以通过Mesos masterUI来访问这些日志，其物理位置存储在Mesos的Slave的Work目录下；在YARN模式下，最简单的收集日志的方式是使用YARN提供的日志收集工具（运行命令yarn logs-applicationId＜app ID＞），不过该工具只有在程序运行结束后才能收集到这些日志信息，在程序运行期间，需要从ResourceManager UI进入具体的结点，然后进入具体的container来查看日志。(www.xing528.com)

需要说明的是，也可以配置Spark的日志系统log4j来更改日志输出的级别。Spark提供了一个log4j的配置文件模板conf/log4j.properties.template，可以复制该文件到log4j.properties，然后修改复制后的文件，比如将logging level从默认情况下的INFO修改为WARN或ERROR来产生更少的日志输出信息。配置完成后，可以在spark-submit提交程序时通过-files log4j.properties来指定程序运行时使用的日志配置文件。