Flume数据源与数据接收端的了解

1.Flume官方文档

https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html#data-flow-model

2.Flume的配置主体框架

cpp 复制代码
# example.conf:单节点 Flume 配置
# 1. 声明框架组件
# 将此代理上的组件命名为
# 数据源r1
a1.sources  =  r1 
# 数据终点k1
a1.sinks  =  k1 
#channel通道c1
a1.channels  =  c1

# 描述/配置源
a1.sources.r1.type  =  netcat 
a1.sources.r1.bind  =  localhost 
a1.sources.r1.port  =  44444

# 描述接收器
a1.sinks.k1.type  =  logger

# 使用在内存中缓冲事件的通道
a1.channels.c1.type  = 内存
a1.channels.c1.capacity  =  1000 
a1.channels.c1.transactionCapacity  =  100

# 将源和接收器绑定到通道
a1.sources.r1.channels  =  c1 
a1.sinks.k1.channel  =  c1

3.数据源Source介绍

1.taildir Source

监听文件,支持断点续传和多目录,但是可能导致重复数据,不能监控二进制数据

2.kafka Source

cpp 复制代码
tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.channels = channel1
# 批量写入Channel的最大消息条数
tier1.sources.source1.batchSize = 5000
tier1.sources.source1.batchDurationMillis = 2000
# broker列表 
tier1.sources.source1.kafka.bootstrap.servers = localhost:9092
# Kafka消费的主题 逗号隔开
tier1.sources.source1.kafka.topics = test1, test2
# groupId 消费者组的ID,
# 同一消费者组不能同时消费一个分区,Kafka的知识
tier1.sources.source1.kafka.consumer.group.id = custom.g.id

4.数据接收端Sink

1.HDFS Source

cpp 复制代码
a1.channels  =  c1 
a1.sinks  =  k1 
a1.sinks.k1.type  =  hdfs 
a1.sinks.k1.channel  =  c1 

# path HDFS文件存储路径
# 样例 hdfs://namenode/flume/webdata/
a1.sinks.k1.hdfs.path  =  /flume/events/%Y-%m-% d/%H%M/%S 
# filePrefix 文件名前缀
a1.sinks.k1.hdfs.filePrefix  = 事件- 
a1.sinks.k1.hdfs.round  =  true 
a1.sinks.k1.hdfs.roundValue  =  10 
# rollInterval   滚动文件间隔时间,其实就是多久产生一个新文件
a1.sinks.k1.hdfs.rollInterval  =  30
# 滚动文件间隔时间的统计粒度
a1.sinks.k1.hdfs .roundUnit  = 分钟
# 1024字节 
# HDFS的128M是134,217,728字节 滚动文件的大小
a1.sinks.k1.hdfs.rollInterval.hdfs.rollSize = 1024
# 滚动信息数量 可以通过设置
a1.sinks.k1.hdfs.rollInterval.hdfs.rollCount = 10

2. Kafka Source

cpp 复制代码
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = mytopic
# 逗号间隔
a1.sinks.k1.kafka.bootstrap.servers = localhost:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
# ack机制 1为主机确定收到即可,-1为全部收到 0为只发送
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
# 压缩格式看Kafka支持什么
a1.sinks.k1.kafka.producer.compression.type = snappy
相关推荐
Acrelhuang10 分钟前
安科瑞5G基站直流叠光监控系统-安科瑞黄安南
大数据·数据库·数据仓库·物联网
皓74118 分钟前
服饰电商行业知识管理的创新实践与知识中台的重要性
大数据·人工智能·科技·数据分析·零售
Mephisto.java21 分钟前
【大数据学习 | kafka高级部分】kafka的kraft集群
大数据·sql·oracle·kafka·json·hbase
Mephisto.java23 分钟前
【大数据学习 | kafka高级部分】kafka的文件存储原理
大数据·sql·oracle·kafka·json
ycsdn101 小时前
Caused by: org.apache.flink.api.common.io.ParseException: Row too short:
大数据·flink
DolphinScheduler社区2 小时前
Apache DolphinScheduler + OceanBase,搭建分布式大数据调度平台的实践
大数据
时差9533 小时前
MapReduce 的 Shuffle 过程
大数据·mapreduce
kakwooi4 小时前
Hadoop---MapReduce(3)
大数据·hadoop·mapreduce
数新网络4 小时前
《深入浅出Apache Spark》系列②:Spark SQL原理精髓全解析
大数据·sql·spark
昨天今天明天好多天10 小时前
【数据仓库】
大数据