【摘要】：单代理Flume 可以单节点直接采集数据，主要应用于集群内数据。图8.3单代理基础架构多代理Flume 可以将多个节点连接起来，将最初的数据源经过收集，存储到最终的存储系统中。图8.4多代理架构多路复用Flume 支持将多个Flume Agent 级联起来，同时级联节点内部支持数据复制。Flume 级联节点之间的数据传输支持压缩和加密，提升数据传输效率和安全性。Flume 在传输数据过程中，如果下一跳的Flume 节点故障或者数据接受异常时，可以自动切换到另外一路上继续传输。
（1）单代理
Flume 可以单节点直接采集数据，主要应用于集群内数据。其单代理基础架构如图8.3所示。
图8.3 单代理基础架构
（2）多代理
Flume 可以将多个节点连接起来，将最初的数据源经过收集，存储到最终的存储系统中。主要应用于集群外的数据导入到集群内。Flume 多代理架构如图8.4 所示。(www.xing528.com)
图8.4 多代理架构
（3）多路复用
Flume 支持将多个Flume Agent 级联起来，同时级联节点内部支持数据复制。Flume 级联节点之间的数据传输支持压缩和加密，提升数据传输效率和安全性。这种级联机制是多路复用架构，如图8.5 所示。Flume 在传输数据过程中，采用事务管理方式，保证传输过程数据不会丢失，增强了数据传输的可靠性，同时缓存在Channel 中的数据如果采用File Channel，进程或者节点重启数据不会丢失。Flume 在传输数据过程中，如果下一跳的Flume 节点故障或者数据接受异常时，可以自动切换到另外一路上继续传输。Flume 在传输数据过程中，可以对数据简单地过滤、清洗，还可以去掉不关心的数据；同时，如果需要对复杂的数据过滤，需要用户根据自己的数据特殊性，开发过滤插件，Flume 支持第三方过滤插件调用。
图8.5 多路复用架构
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
