内部交互的消息机制的介绍

1.部署组件之间的交互消息

Spark是一个分布式集群，各个组件通过事件（消息）响应机制进行协作。所有与集群部署相关的消息都在DeployMessages类中定义。读者可以根据发送的消息及其对应反馈的消息进行整理，也可以根据DeployMessages类中的定义形式进行归类。

下面根据DeployMessages类中的消息定义简单整理成表格的形式，方便读者查阅，如表3-10～3-22所示。

表3-10 Worker到Master的消息

表3-11 Master到Worker的消息

表3-12 Worker内部的消息

表3-13 AppClient到Master的消息

表3-14 Master到AppClient的消息

表3-15 DriverClient与Master交互的消息

表3-16 AppClient内部的消息(www.xing528.com)

表3-17 Maste到Worker和AppClient的消息

表3-18 MasterWebUI到Master的消息

表3-19 Master到MasterWebUI的消息

表3-20 WorkerWebUI发送到Worker的消息

表3-21 Worker to WorkerWebUI的消息

表3-22 各个地方用于存活检查的消息

2.驱动程序及其相关的交互消息

除了分布式集群中各个组件之间的消息交互之外，在用户提交应用程序之后，会有一部分与调度相关的交互信息。这部分信息可以在CoarseGrainedClusterMessage类的定义文件中找到，读者可以根据发送的消息及其对应反馈的消息进行整理，也可以根据CoarseGrained-ClusterMessage类中的定义形式自行整理归类。