大数据课程E5——Flume的Selector

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 了解Selector的概念和配置属性;

⚪ 掌握Selector的使用方法;

一、简介

1. 概述

  1. Selector本身是Source的子组件,决定了将数据分发给哪个Channel。

  2. Selector中提供了两种模式:

a. replicating:复制。将数据复制之后发送给每一个节点。

b. multiplexing:路由/多路复用。根据headers中的指定字段决定将数据发送给哪一个Channel。

  1. 如果不指定,那么默认使用的就是复制模式。

2. 配置属性

|---------------------|-------------------------------------------|
| 属性 | 解释 |
| selector.type | 可以是replicating或者multiplexing |
| selector.header | 如果是multiplexing,那么需要指定监听的字段 |
| selector.mapping.* | 如果是multiplexing,那么需要指定监听字段匹配的只 |
| selector.default | 如果是multiplexing,那么在所有值不匹配的情况下数据发送的Channel |

3. 案例

  1. 编写格式文件:

a1.sources = s1

a1.channels = c1 c2

a1.sinks = k1 k2

a1.sources.s1.type = http

a1.sources.s1.port = 8090

指定Selector的类型

a1.sources.s1.selector.type = multiplexing

指定要监听的字段

a1.sources.s1.selector.header = kind

指定匹配的字段值

a1.sources.s1.selector.mapping.music = c1

a1.sources.s1.selector.mapping.video = c2

指定默认值

a1.sources.s1.selector.default = c2

a1.channels.c1.type = memory

a1.channels.c2.type = memory

a1.sinks.k1.type = avro

a1.sinks.k1.hostname = hadoop02

a1.sinks.k1.port = 8090

a1.sinks.k2.type = avro

a1.sinks.k2.hostname = hadoop03

a1.sinks.k2.port = 8090

a1.sources.s1.channels = c1 c2

a1.sinks.k1.channel = c1

a1.sinks.k2.channel = c2

  1. 启动Flume:

../bin/flume-ng agent -n a1 -c ../conf -f multiplexingselector.conf -

Dflume.root.logger=INFO,console

相关推荐
计算机毕业编程指导师1 小时前
Python大数据毕设:基于Hadoop的病毒式社交媒体趋势和参与度分析系统怎么做 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·毕业设计·课程设计·社交媒体
计算机毕业编程指导师1 小时前
【计算机毕设选题推荐】基于Spark与Hadoop的AI就业收入区域差异分析系统 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·python·数据分析·spark·毕业设计·课程设计·ai就业收入
小猴子爱上树1 小时前
跨马翻译:批量图片翻译与视频字幕、智能抠图一站式在线图片翻译工具
大数据·人工智能·python·音视频
W***25921 小时前
2026 企业 AI 办公工具选型指南:能力评估与平台全景分析
大数据·人工智能
2601_967212721 小时前
电源轨道系统核心技术路线对比与选型要点
大数据·经验分享
龙亘川2 小时前
数智赋能物业不动产治理:亘川智城智慧物业系统实践解析
大数据·人工智能·智慧城市·开源软件·数据可视化
大大大大晴天️3 小时前
元数据目录到数据资产运营:让好数据被看见、被复用、被持续经营
大数据·数据治理
Elastic 中国社区官方博客3 小时前
错误最多的服务运行正常:使用 ES|QL 从日志进行根因分析
大数据·运维·数据库·sql·elasticsearch·搜索引擎·全文检索
计算机毕业设计杰瑞3 小时前
【2027最新精品大数据】基于大数据的全国各地景点指数数据可视化分析,附源码_高质量项目_可视化_数据分析_毕设选题推荐_SPark_Hadoop_毕设指导
大数据·信息可视化·数据分析
计算机毕业设计杰瑞4 小时前
【2027精品大数据项目】基于大数据的全球太空探索数据分析与可视化,附源码_数据可视化_数据分析_毕设选题_SPark_Hadoop_文档指导ppt
大数据·信息可视化·数据挖掘·课程设计