首页 理论教育 如何使用Spark的WebUI来监视和调试您的应用程序

如何使用Spark的WebUI来监视和调试您的应用程序

时间:2023-07-02 理论教育 版权反馈
【摘要】:预先在hosts中插入Master和IP的映射记录,比如:192.168.1.18 master,这样就可以直接访问http://master:8080来打开Spark的Web控制台。了解Spark的Web UI对学习Spark非常重要,可以从Web UI中非常清楚地了解Spark的运行过程,下面简单介绍。图1-10 Spark的Web控制台●在Web UI的最上面是Spark集群的地址,集群的基本概况如下:从概况中可以知道集群的地址、规模、资源、运行过多少个APP及集群的状态。

如何使用Spark的WebUI来监视和调试您的应用程序

启动Spark集群后,即可访问Spark的Web控制台——Web UI,直接在浏览器中输入Http://master:8080,或者输入“http://master机器的IP地址:8080”,如图1-10所示。

预先在hosts中插入Master和IP的映射记录比如192.168.1.18 master这样就可以直接访问http//master8080来打开Spark的Web控制台

了解Spark的Web UI对学习Spark非常重要,可以从Web UI中非常清楚地了解Spark的运行过程,下面简单介绍。

978-7-111-59197-9-Chapter01-43.jpg

图1-10 Spark的Web控制台

●在Web UI的最上面是Spark集群的地址,集群的基本概况如下:(www.xing528.com)

978-7-111-59197-9-Chapter01-44.jpg

从概况中可以知道集群的地址、规模、资源、运行过多少个APP及集群的状态。

●在Workers一栏中可以看到每个worker的ID、地址、状态、cores的个数和内存状态。

●在Running Applications栏中可以看到目前正在运行的Applications的ID、名称、CPU资源、每个结点上使用内存资源的情况、程序提交的时间、哪个用户提交的、目前运行的状态、程序运行的时间。

●在Completed Applications这一栏中,是已经运行完成的Spark程序的信息。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈