首页 理论教育 Spark部署模式详解:Standalone、Mesos和YARN

Spark部署模式详解:Standalone、Mesos和YARN

时间:2023-06-29 理论教育 版权反馈
【摘要】:1)Standalone:Spark原生的简单集群管理器,使用Standalone可以很方便地搭建一个集群。2)Apache Mesos:一个通用的集群管理器,可以在上面运行Hadoop MapReduce和一些服务型的应用。3)Hadoop YARN:在Hadoop 2中提供的资源管理器。实际上,除了上面这些通用的集群管理器外,Spark内部也提供了一些方便用户测试和学习的简单集群部署模式。为了更全面地理解这些内容,本节会从Spark应用程序部署点切入,也就是从提交一个Spark应用程序开始,引出并详细解析各种部署模式。

Spark部署模式详解:Standalone、Mesos和YARN

在Spark官网部署页面(http://spark.apache.org/docs/latest/cluster-overview.html)中,可以看到当前集群支持以下3种集群管理器(Cluster Manager)。

1)Standalone:Spark原生的简单集群管理器,使用Standalone可以很方便地搭建一个集群。

2)Apache Mesos:一个通用的集群管理器,可以在上面运行Hadoop MapReduce和一些服务型的应用。

3)Hadoop YARN:在Hadoop 2中提供的资源管理器。(www.xing528.com)

另外,Spark提供的EC2启动脚本,可以很方便地在Amazon EC2上启动一个Standalone集群。

实际上,除了上面这些通用的集群管理器外,Spark内部也提供了一些方便用户测试和学习的简单集群部署模式。为了更全面地理解这些内容,本节会从Spark应用程序部署点切入,也就是从提交一个Spark应用程序开始,引出并详细解析各种部署模式。

说明:下面涉及类的描述时,如果可以通过类名唯一确定一个类的话,将直接给出类名;如果不能,会先给出全路径的类名,然后在不出现歧义的地方再简写为类名。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈