首页 理论教育 本地群集(S,C,M)的部署指南

本地群集(S,C,M)的部署指南

时间:2023-06-29 理论教育 版权反馈
【摘要】:格式如Local-Cluster[numSlaves,coresPerSlave,memoryPerSlave]的这种模式称为本地伪分布式部署模式,由于当前使用的是本地部署模式,因此不存在所谓的集群,所以在模拟伪分布式部署模式时,需要构建出一个模拟的集群模式。模拟的集群模式在代码中对应LocalSparkCluster实例。对应的集群模拟可以查看LocalSparkCluster的start方法,其中构建了Master和多个Worker实例来模拟分布式集群。通过查看isLocal变量的代码,即可找到与本地模式相关的内容。

本地群集(S,C,M)的部署指南

格式如Local-Cluster[numSlaves,coresPerSlave,memoryPerSlave]的这种模式称为本地伪分布式部署模式,由于当前使用的是本地部署模式,因此不存在所谓的集群,所以在模拟伪分布式部署模式时,需要构建出一个模拟的集群模式。模拟的集群模式在代码中对应LocalSparkCluster实例。

在本地伪分布式部署模式中,构建的作业调度器同其他3种本地模式一样,也是实例化具体子类TaskSchedulerImpl,但同时构建的SchedulerBackend实例是和真实的Spark Standa-lone集群是一样的,也是实例化了SparkDeploySchedulerBackend子类。这说明本地伪分布式部署模式仅仅在集群组件构建的方式上有所差异,其他方面都是相同的。

对应的集群模拟可以查看LocalSparkCluster的start方法,其中构建了Master和多个Worker实例来模拟分布式集群。模拟时使用的参数也是参考Spark Standalone集群,通过numSlaves指定模拟集群中的Slaves结点个数,通过coresPerSlave指定模拟集群中各个Slave结点上的内核数,以及通过memoryPerSlave指定模拟集群中各个Slave配置的内存大小。(www.xing528.com)

另外,本地模式在其他细节方面的影响,可以查看SparkContext中的本地模式控制变量的设置,对应变量定义的代码如下。

通过查看isLocal变量的代码,即可找到与本地模式相关的内容。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈