Flume工作原理详解

多个Agent连接组成Flume分布式系统。Agent内部包括Source、Channel和Sink三个组件，Source采集数据源，获取数据，通过Channel传输数据到Sink，Sink传递数据给下一级agent传递或者最终存储系统。Flume提供了许多不同类型的内置的Source、Channel和Sink。用户可以非常灵活地自由组合各种类型的Source，Channel和Sink。

（1）多Agent串行传输数据流模型。

将多个Agent串行连接起来，将最初的数据源经过收集，存储到最终的存储系统中。其工作流程如图7-4所示。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径过长，易于出现故障从而将影响整个Flow上的Agent收集服务。

图7-4　多Agent串行传输数据流模型工作原理

（2）多Agent汇聚数据流模型。

多个Agent的数据汇聚到同一个Agent，每个节点都配置一个Agent，然后节点的数据由该节点上的Agent收集，最终汇聚到一个用来存储数据的存储系统上。其工作原理如图7-5所示。(www.xing528.com)

图7-5　多Agent汇聚数据流模型工作原理

（3）单Agent多路数据流模型。

单Agent多路数据流模型支持将事件流复用到一个或多个目的地。这是通过定义一种流多路复用器来实现的，该流多路复用器可以将事件复制或选择性地路由到一个或多个通道。其工作原理如图7-6所示。

图7-6　单Agent多路数据流模型工作原理