Flume之选择器:复制和多路复用(比喻化理解

Flume 的选择器决定了Source 如何将数据分发到多个 Channel 。这就像 "快递员如何分配包裹到不同的运输通道",有两种策略:复制多路复用

一、复制(Replicating Selector):每个 Channel 都送一份

核心逻辑

将同一个 Event(数据)复制到所有配置的 Channel,就像 "一个快递员同时给多个收件人发相同的包裹"。

应用场景
  • 需要将数据同时写入多个目的地(如同时备份到 HDFS 和 Kafka)。
  • 示例:监控系统日志,同时存储到 HDFS(长期归档)和 Elasticsearch(实时搜索)。
配置示例
复制代码
# Source配置
a1.sources = r1
a1.channels = c1 c2  # 配置两个Channel

# 选择器类型:复制(默认)
a1.sources.r1.selector.type = replicating

二、多路复用(Multiplexing Selector):按规则分配

核心逻辑

根据 Event 的Header 值 (类似包裹上的 "地址标签"),将数据路由到不同的 Channel,就像 "快递员按收件地址分区域派送"。

应用场景
  • 根据数据类型拆分(如将错误日志和访问日志分到不同 Channel)。
  • 示例:电商订单数据,按支付方式(微信 / 支付宝)分流到不同 Kafka Topic。
配置示例
复制代码
# Source配置
a1.sources = r1
a1.channels = c1 c2  # 配置两个Channel

# 选择器类型:多路复用
a1.sources.r1.selector.type = multiplexing

# 按Header中的"type"字段路由
a1.sources.r1.selector.header = type
a1.sources.r1.selector.mapping.error = c1  # type=error的Event走c1
a1.sources.r1.selector.mapping.access = c2  # type=access的Event走c2
a1.sources.r1.selector.default = c2  # 未匹配的默认走c2

三、对比与记忆技巧

维度 复制(Replicating) 多路复用(Multiplexing)
数据流向 一个 Event 复制到所有 Channel 一个 Event 只走一个 Channel(按规则选)
比喻 快递员给每个客户都发相同的包裹 快递员按地址分区派送包裹
配置关键词 replicating(默认,无需显式配置) multiplexing + header + mapping
典型场景 数据备份、多目的地存储 数据分类、分流处理

四、一句话总结

  • 复制:"一份数据,所有管道都走一遍"(适合备份);
  • 多路复用:"不同数据走不同管道"(适合分类)。

如果还是容易混淆,可以想象:

  • 复制像 "群发消息"(所有人都收到相同内容);
  • 多路复用像 "智能分拣"(根据包裹标签选择不同运输路线)。
相关推荐
极客数模30 分钟前
【浅析赛题,一等奖水平】思路模型数据相关资料!2025 年“大湾区杯”粤港澳金融数学建模竞赛B 题 稳定币的综合评价与发展分析~
大数据·算法·数学建模·金融·数据挖掘·图论·1024程序员节
临风赏月1 小时前
Hudi、Iceberg、Delta Lake、Paimon 建表语法与场景示例
大数据
luoganttcc2 小时前
加快高水平科技自立自强,引领发展新质生产力 <十五五 规划节选>
大数据·人工智能·科技
TDengine (老段)2 小时前
益和热力性能优化实践:从 SQL Server 到 TDengine 时序数据库,写入快 20 秒、查询提速 5 倍
大数据·数据库·物联网·性能优化·时序数据库·tdengine·1024程序员节
秋已杰爱3 小时前
技术准备十五:Elasticsearch
大数据·elasticsearch·搜索引擎
青云交3 小时前
Java 大视界 -- Java 大数据在智能家居能源消耗模式分析与节能策略制定中的应用
java·大数据·智能家居·数据采集·能源消耗模式分析·节能策略制定·节能效果评估
B站计算机毕业设计之家4 小时前
python图像识别系统 AI多功能图像识别检测系统(11种识别功能)银行卡、植物、动物、通用票据、营业执照、身份证、车牌号、驾驶证、行驶证、车型、Logo✅
大数据·开发语言·人工智能·python·图像识别·1024程序员节·识别
数字化脑洞实验室8 小时前
如何理解不同行业AI决策系统的功能差异?
大数据·人工智能·算法
starandsea13 小时前
gitlab解决传过大文件后删除导致pack过大问题
大数据·elasticsearch·gitlab
拉姆哥的小屋14 小时前
时间序列早期分类中的置信度累积问题:从ECE-C到时序依赖建模
大数据·人工智能