大数据课程E5——Flume的Selector

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 了解Selector的概念和配置属性;

⚪ 掌握Selector的使用方法;

一、简介

1. 概述

  1. Selector本身是Source的子组件,决定了将数据分发给哪个Channel。

  2. Selector中提供了两种模式:

a. replicating:复制。将数据复制之后发送给每一个节点。

b. multiplexing:路由/多路复用。根据headers中的指定字段决定将数据发送给哪一个Channel。

  1. 如果不指定,那么默认使用的就是复制模式。

2. 配置属性

|---------------------|-------------------------------------------|
| 属性 | 解释 |
| selector.type | 可以是replicating或者multiplexing |
| selector.header | 如果是multiplexing,那么需要指定监听的字段 |
| selector.mapping.* | 如果是multiplexing,那么需要指定监听字段匹配的只 |
| selector.default | 如果是multiplexing,那么在所有值不匹配的情况下数据发送的Channel |

3. 案例

  1. 编写格式文件:

a1.sources = s1

a1.channels = c1 c2

a1.sinks = k1 k2

a1.sources.s1.type = http

a1.sources.s1.port = 8090

指定Selector的类型

a1.sources.s1.selector.type = multiplexing

指定要监听的字段

a1.sources.s1.selector.header = kind

指定匹配的字段值

a1.sources.s1.selector.mapping.music = c1

a1.sources.s1.selector.mapping.video = c2

指定默认值

a1.sources.s1.selector.default = c2

a1.channels.c1.type = memory

a1.channels.c2.type = memory

a1.sinks.k1.type = avro

a1.sinks.k1.hostname = hadoop02

a1.sinks.k1.port = 8090

a1.sinks.k2.type = avro

a1.sinks.k2.hostname = hadoop03

a1.sinks.k2.port = 8090

a1.sources.s1.channels = c1 c2

a1.sinks.k1.channel = c1

a1.sinks.k2.channel = c2

  1. 启动Flume:

../bin/flume-ng agent -n a1 -c ../conf -f multiplexingselector.conf -

Dflume.root.logger=INFO,console

相关推荐
想你依然心痛9 分钟前
Spark大数据分析与实战笔记(第六章 Kafka分布式发布订阅消息系统-02)
笔记·分布式·spark
二等饼干~za89866811 分钟前
GEO优化---关键词搜索排名源码开发思路分享
大数据·前端·网络·数据库·django
万小猿34 分钟前
互联网大厂Java求职面试模拟实战:谢飞机的三轮提问与详细解答
java·大数据·spring boot·微服务·面试·技术解析·互联网大厂
Coder_Boy_36 分钟前
基于SpringAI企业级智能教学考试平台试卷管理模块全业务闭环方案
java·大数据·人工智能·spring boot·springboot
newrank_kk1 小时前
下一代品牌战略:把智汇GEO作为核心品牌AI形象管理工具
大数据·人工智能
行业探路者1 小时前
资产标识二维码的高效管理与模板重新生成策略
大数据·人工智能·安全·二维码·设备巡检
胡萝卜的兔1 小时前
go-zero rpc 分布式 微服务
分布式·rpc·golang
郑泰科技1 小时前
hbase 避坑F:\hbase\hadoop\sbin>start-dfs.cmd 系统找不到文件 hadoop。
大数据·数据库·hadoop·hdfs·hbase
郑泰科技1 小时前
hbase避坑:Hadoop 的 NameNode 找不到指定的存储目录
数据库·hadoop·hbase
Coder_Boy_1 小时前
基于SpringAI企业级智能教学考试平台核心模块协同总结与最佳实践方案
java·大数据·人工智能