Flume数据源与数据接收端的了解

1.Flume官方文档

https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html#data-flow-model

2.Flume的配置主体框架

cpp 复制代码
# example.conf:单节点 Flume 配置
# 1. 声明框架组件
# 将此代理上的组件命名为
# 数据源r1
a1.sources  =  r1 
# 数据终点k1
a1.sinks  =  k1 
#channel通道c1
a1.channels  =  c1

# 描述/配置源
a1.sources.r1.type  =  netcat 
a1.sources.r1.bind  =  localhost 
a1.sources.r1.port  =  44444

# 描述接收器
a1.sinks.k1.type  =  logger

# 使用在内存中缓冲事件的通道
a1.channels.c1.type  = 内存
a1.channels.c1.capacity  =  1000 
a1.channels.c1.transactionCapacity  =  100

# 将源和接收器绑定到通道
a1.sources.r1.channels  =  c1 
a1.sinks.k1.channel  =  c1

3.数据源Source介绍

1.taildir Source

监听文件,支持断点续传和多目录,但是可能导致重复数据,不能监控二进制数据

2.kafka Source

cpp 复制代码
tier1.sources.source1.type = org.apache.flume.source.kafka.KafkaSource
tier1.sources.source1.channels = channel1
# 批量写入Channel的最大消息条数
tier1.sources.source1.batchSize = 5000
tier1.sources.source1.batchDurationMillis = 2000
# broker列表 
tier1.sources.source1.kafka.bootstrap.servers = localhost:9092
# Kafka消费的主题 逗号隔开
tier1.sources.source1.kafka.topics = test1, test2
# groupId 消费者组的ID,
# 同一消费者组不能同时消费一个分区,Kafka的知识
tier1.sources.source1.kafka.consumer.group.id = custom.g.id

4.数据接收端Sink

1.HDFS Source

cpp 复制代码
a1.channels  =  c1 
a1.sinks  =  k1 
a1.sinks.k1.type  =  hdfs 
a1.sinks.k1.channel  =  c1 

# path HDFS文件存储路径
# 样例 hdfs://namenode/flume/webdata/
a1.sinks.k1.hdfs.path  =  /flume/events/%Y-%m-% d/%H%M/%S 
# filePrefix 文件名前缀
a1.sinks.k1.hdfs.filePrefix  = 事件- 
a1.sinks.k1.hdfs.round  =  true 
a1.sinks.k1.hdfs.roundValue  =  10 
# rollInterval   滚动文件间隔时间,其实就是多久产生一个新文件
a1.sinks.k1.hdfs.rollInterval  =  30
# 滚动文件间隔时间的统计粒度
a1.sinks.k1.hdfs .roundUnit  = 分钟
# 1024字节 
# HDFS的128M是134,217,728字节 滚动文件的大小
a1.sinks.k1.hdfs.rollInterval.hdfs.rollSize = 1024
# 滚动信息数量 可以通过设置
a1.sinks.k1.hdfs.rollInterval.hdfs.rollCount = 10

2. Kafka Source

cpp 复制代码
a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = mytopic
# 逗号间隔
a1.sinks.k1.kafka.bootstrap.servers = localhost:9092
a1.sinks.k1.kafka.flumeBatchSize = 20
# ack机制 1为主机确定收到即可,-1为全部收到 0为只发送
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
# 压缩格式看Kafka支持什么
a1.sinks.k1.kafka.producer.compression.type = snappy
相关推荐
TDengine (老段)5 小时前
TDengine 使用最佳实践(2)
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
Deng9452013146 小时前
基于大数据的电力系统故障诊断技术研究
大数据·matplotlib·深度特征提取·随机森林分类算法·标签编码
小菜鸡06269 小时前
FlinkSQL通解
大数据·flink
寅鸷9 小时前
es里为什么node和shard不是一对一的关系
大数据·elasticsearch
码字的字节11 小时前
深入解析Hadoop架构设计:原理、组件与应用
大数据·hadoop·分布式·hadoop架构设计
阿里云大数据AI技术13 小时前
云上AI推理平台全掌握 (3):服务接入与全球调度
大数据·人工智能·深度学习
时序数据说13 小时前
如何选择时序数据库:关键因素与实用指南
大数据·数据库·物联网·时序数据库·iotdb
金牌服务刘13 小时前
选择一个系统作为主数据源的优势与考量
大数据·数据分析·连续集成
青云交14 小时前
Java 大视界 -- Java 大数据在智能安防视频监控系统中的视频摘要快速生成与检索优化(345)
java·大数据·智能安防·视频摘要·检索优化·校园安防·低带宽传输
神策技术社区16 小时前
埋点采集之曝光
大数据·数据分析·客户端