kafka和Flume的整合

目录

[一、Kafka作为Source 【数据进入到kafka中,抽取出来】](#一、Kafka作为Source 【数据进入到kafka中,抽取出来】)

1、在我的flume的conf文件夹下,有个myconf文件夹:

[2、 创建一个flume脚本文件: kafka-memory-logger.conf](#2、 创建一个flume脚本文件: kafka-memory-logger.conf)

3、测试

[二、kafka作为Sink 【数据从别的地方抽取到kafka里面】](#二、kafka作为Sink 【数据从别的地方抽取到kafka里面】)

1、创建一个flume脚本文件:flume-kafka-sink.conf

2、测试


一、Kafka作为Source 【数据进入到kafka中,抽取出来】

1、在我的flume的conf文件夹下,有个myconf文件夹:

2、 创建一个flume脚本文件: kafka-memory-logger.conf

flume学习网站:Flume 1.9用户手册中文版 --- 可能是目前翻译最完整的版本了 (liyifeng.org)

bash 复制代码
# 来到这个目录下
cd /opt/installs/flume/conf/myconf
# 创建一个conf文件
vi kafka-memory-logger.conf

在kafka-memory-logger.conf文件中写入:

a1.sources = r1

a1.channels = c1

a1.sinks=k1

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource

a1.sources.r1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092

a1.sources.r1.kafka.topics = bigdata

a1.sources.r1.kafka.consumer.group.id = text7

a1.sources.r1.batchSize = 100

a1.sources.r1.batchDurationMillis = 2000

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = logger

a1.sinks.k1.maxBytesToLog = 128

3、测试

启动一个消息生产者,向topic中发送消息,启动flume,接收消息

  • 启动一个消息生产者,向topic中发送消息:
bash 复制代码
kafka-console-producer.sh --bootstrap-server bigdata01:9092 --topic bigdata
  • 启动flume,接收消息
bash 复制代码
flume-ng agent -n a1 -c ../ -f kafka-memory-logger.conf -Dflume.root.logger=INFO,console

二、kafka作为Sink 【数据从别的地方抽取到kafka里面】

1、创建一个flume脚本文件:flume-kafka-sink.conf

在flume-kafka-sink.conf文件中写入:

a1.sources = r1

a1.channels = c1

a1.sinks=k1

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

a1.sources.r1.type = netcat

a1.sources.r1.bind = bigdata01

a1.sources.r1.port = 44444

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k1.kafka.topic = bigdata

a1.sinks.k1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092

a1.sinks.k1.kafka.producer.acks = 1

a1.sinks.k1.kafka.producer.linger.ms = 1

2、测试

启动:

bash 复制代码
flume-ng agent -n a1 -c ../ -f flume-kafka-sink.conf -Dflume.root.logger=INFO,console

使用telnet命令,向端口发送消息:

bash 复制代码
yum -y install telnet

telnet bigdata01 44444

在窗口不断的发送文本数据,数据被抽取到了kafka中,如何获取kafka数据呢?使用消费者:

bash 复制代码
kafka-console-consumer.sh --topic bigdata --bootstrap-server bigdata01:9092
相关推荐
herobrineAC7895 小时前
Hyperopt 强大的分布式参数优化框架全解析
分布式·其他
明达智控技术6 小时前
MR30系列分布式I/O在造型机产线的应用
分布式·物联网·自动化
Moniane6 小时前
A2A+MCP构建智能体协作生态:下一代分布式人工智能架构解析
人工智能·分布式·架构
观望过往17 小时前
Kafka 全方位详细介绍:从架构原理到实践优化
分布式·架构·kafka
LB211217 小时前
Redis黑马点评 分布式锁
数据库·redis·分布式
回家路上绕了弯21 小时前
接口响应时间优化指南:从秒级到毫秒级的全链路方案
分布式·后端
RestCloud21 小时前
OceanBase 分布式数据库的 ETL 实践:从抽取到实时分析
数据库·分布式·postgresql·oceanbase·etl·数据处理·数据同步
西***63471 天前
从信号零损耗到智能协同:高清混合矩阵全链路技术拆解,分布式可视化系统十大趋势重塑行业
分布式·线性代数·矩阵
菜鸡儿齐1 天前
kafka简介
分布式·kafka
周杰伦_Jay1 天前
【实战|旅游知识问答RAG系统全链路解析】从配置到落地(附真实日志数据)
大数据·人工智能·分布式·机器学习·架构·旅游·1024程序员节