Flume和kafka的整合:使用Flume将日志数据抽取到Kafka中

文章目录


1、Kafka作为Source【数据进入到kafka中,抽取出来】

kafka源 --> memory --> 控制台:

bash 复制代码
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 100
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = node01:9092,node02:9092,node03:9092
a1.sources.r1.kafka.topics = five
a1.sources.r1.kafka.consumer.group.id = donghu

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = logger
a1.sinks.k1.maxBytesToLog = 128

2、kafka作为Sink 【数据从别的地方抽取到kafka里面】

netcat --> memory -->kafka:

bash 复制代码
##a1就是flume agent的名称
## source r1
## channel c1
## sink k1
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = bigdata01
a1.sources.r1.port = 44444

# 修改sink为kafka
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = node01:9092
a1.sinks.k1.kafka.topic = five
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
相关推荐
fzy00852 小时前
教育项目管理工具新趋势:可视化与自动化如何提升效率?
大数据·人工智能·自动化
聚客AI3 小时前
95%企业AI失败?揭秘LangGraph+OceanBase融合数据层如何破局!
大数据·图像处理·人工智能·机器学习·语言模型·自然语言处理·数据分析
IT研究室3 小时前
大数据毕业设计选题推荐-基于大数据的大学生就业因素数据分析系统-Spark-Hadoop-Bigdata
大数据·spark·课程设计
风亦辰7396 小时前
大数据开发环境搭建(Linux + Hadoop + Spark + Flink + Hive + Kafka)
大数据·linux·hadoop
风亦辰7396 小时前
大数据生态系统全景图:Hadoop、Spark、Flink、Hive、Kafka 的关系
大数据·hadoop·spark
ByteBlossom7 小时前
SpringBoot集成Kafka实战应用
spring boot·中间件·kafka
Mr.Entropy7 小时前
Elasticsearch创建索引分片和副本大小建议
大数据·elasticsearch·搜索引擎
Lx3528 小时前
HDFS数据备份与恢复:保障数据安全
大数据·hadoop
IvanCodes9 小时前
一、Scala 基础语法、变量与数据类型
大数据·开发语言·scala