【摘要】:Stage页面展示了Stage的详细执行信息,在每个Stage内部,该页面也提供了若干met-rics来帮助用户更好地理解作业物理执行的细节。通常首先会查看构成Job的各个Stage,查看是否有运行非常缓慢的Stage,或在该Job的若干次运行时,响应时间变化很大的Stage。确定好了问题Stage后,会进一步查看该Stage的详细情况,以定位性能瓶颈。Stages页面的主页如图9-9所示。图9-10 Stage的细节页面
Stage页面展示了Stage的详细执行信息,在每个Stage内部,该页面也提供了若干met-rics来帮助用户更好地理解作业物理执行的细节。常用该页面来评估Job的performance。
通常首先会查看构成Job的各个Stage,查看是否有运行非常缓慢的Stage,或在该Job的若干次运行时,响应时间变化很大的Stage。确定好了问题Stage后,会进一步查看该Stage的详细情况,以定位性能瓶颈。
分布式系统常见的一个性能问题是“倾斜”,即若干个Task相对于其他大多数Task来说消耗了相当长的时间,可以通过查看Task的Metrics来判断是否有倾斜。Task运行了多久,是否有些Task相对其他Task来说需要多得多的运行时间,如果是的话,就需要进一步分析这些Task执行慢的原因;是否有些Task相对其他Task来说,读或写了多得多的数据;是否某些结点上的Task都运行得特别慢,等等。这些都是在进行性能诊断时首先要关注的问题。还要关注Task在读,计算和写的各个阶段消耗了多少时间,如果Task读写数据消耗的时间不多而整体消耗时间较多,则可能是因为应用程序代码的问题,就需要考虑代码的优化;也可能有些Task几乎所有的时间都消耗在从外部存储系统读取数据上了,这时瓶颈在输入的读取上,单纯优化Spark可能就没什么很大帮助了。
Stages页面的主页如图9-9所示。
(www.xing528.com)
图9-9 Stages主页面
单击某个Stage,即可以进入到Stage的细节页面,如图9-10所示。
图9-10 Stage的细节页面
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。