大数据课程E5——Flume的Selector

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 了解Selector的概念和配置属性;

⚪ 掌握Selector的使用方法;

一、简介

1. 概述

  1. Selector本身是Source的子组件,决定了将数据分发给哪个Channel。

  2. Selector中提供了两种模式:

a. replicating:复制。将数据复制之后发送给每一个节点。

b. multiplexing:路由/多路复用。根据headers中的指定字段决定将数据发送给哪一个Channel。

  1. 如果不指定,那么默认使用的就是复制模式。

2. 配置属性

|---------------------|-------------------------------------------|
| 属性 | 解释 |
| selector.type | 可以是replicating或者multiplexing |
| selector.header | 如果是multiplexing,那么需要指定监听的字段 |
| selector.mapping.* | 如果是multiplexing,那么需要指定监听字段匹配的只 |
| selector.default | 如果是multiplexing,那么在所有值不匹配的情况下数据发送的Channel |

3. 案例

  1. 编写格式文件:

a1.sources = s1

a1.channels = c1 c2

a1.sinks = k1 k2

a1.sources.s1.type = http

a1.sources.s1.port = 8090

指定Selector的类型

a1.sources.s1.selector.type = multiplexing

指定要监听的字段

a1.sources.s1.selector.header = kind

指定匹配的字段值

a1.sources.s1.selector.mapping.music = c1

a1.sources.s1.selector.mapping.video = c2

指定默认值

a1.sources.s1.selector.default = c2

a1.channels.c1.type = memory

a1.channels.c2.type = memory

a1.sinks.k1.type = avro

a1.sinks.k1.hostname = hadoop02

a1.sinks.k1.port = 8090

a1.sinks.k2.type = avro

a1.sinks.k2.hostname = hadoop03

a1.sinks.k2.port = 8090

a1.sources.s1.channels = c1 c2

a1.sinks.k1.channel = c1

a1.sinks.k2.channel = c2

  1. 启动Flume:

../bin/flume-ng agent -n a1 -c ../conf -f multiplexingselector.conf -

Dflume.root.logger=INFO,console

相关推荐
2501_941798731 分钟前
面向微服务动态限流与服务熔断的互联网系统高可用设计与多语言工程实践分享
java·大数据·开发语言
B站计算机毕业设计之家5 分钟前
AI大模型:基于大数据动漫数据分析可视化系统 漫画 番剧 知音漫客 Django框架 requests爬虫 大数据毕业设计(建议收藏)✅
大数据·人工智能·爬虫·python·数据分析·django·动漫
Go高并发架构_王工7 分钟前
Kafka简介:了解现代分布式消息队列的基石
分布式·后端·kafka
RPA机器人就选八爪鱼12 分钟前
财务机器人RPA是什么?核心财务自动化功能全解析
大数据·机器人·自动化·rpa
b***251119 分钟前
动力电池焊接新标杆:BT-550D-60动力电池精密气动点焊机解析
大数据·自动化
泰迪智能科技0125 分钟前
案例库分享 | 金融服务行业项目案例合集
大数据·人工智能
是一个Bug26 分钟前
Kafka核心面试题
分布式·kafka
久思无邪26 分钟前
妲鹭DarWur:呼吸环境健康智能管家,以科技守护每一次呼吸
大数据·网络·人工智能
Data_agent44 分钟前
HOOBUY 模式淘宝 1688 代购系统搭建指南
大数据·python
1张驰咨询11 小时前
当数字化遇上第一性原理:重构企业决策的“物理思维”
大数据·人工智能·六西格玛·六西格玛培训·六西格玛咨询·六西格玛黑带培训·六西格玛绿带培训