kafka和Flume的整合

目录

[一、Kafka作为Source 【数据进入到kafka中,抽取出来】](#一、Kafka作为Source 【数据进入到kafka中,抽取出来】)

1、在我的flume的conf文件夹下,有个myconf文件夹:

[2、 创建一个flume脚本文件: kafka-memory-logger.conf](#2、 创建一个flume脚本文件: kafka-memory-logger.conf)

3、测试

[二、kafka作为Sink 【数据从别的地方抽取到kafka里面】](#二、kafka作为Sink 【数据从别的地方抽取到kafka里面】)

1、创建一个flume脚本文件:flume-kafka-sink.conf

2、测试


一、Kafka作为Source 【数据进入到kafka中,抽取出来】

1、在我的flume的conf文件夹下,有个myconf文件夹:

2、 创建一个flume脚本文件: kafka-memory-logger.conf

flume学习网站:Flume 1.9用户手册中文版 --- 可能是目前翻译最完整的版本了 (liyifeng.org)

bash 复制代码
# 来到这个目录下
cd /opt/installs/flume/conf/myconf
# 创建一个conf文件
vi kafka-memory-logger.conf

在kafka-memory-logger.conf文件中写入:

a1.sources = r1

a1.channels = c1

a1.sinks=k1

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource

a1.sources.r1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092

a1.sources.r1.kafka.topics = bigdata

a1.sources.r1.kafka.consumer.group.id = text7

a1.sources.r1.batchSize = 100

a1.sources.r1.batchDurationMillis = 2000

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = logger

a1.sinks.k1.maxBytesToLog = 128

3、测试

启动一个消息生产者,向topic中发送消息,启动flume,接收消息

  • 启动一个消息生产者,向topic中发送消息:
bash 复制代码
kafka-console-producer.sh --bootstrap-server bigdata01:9092 --topic bigdata
  • 启动flume,接收消息
bash 复制代码
flume-ng agent -n a1 -c ../ -f kafka-memory-logger.conf -Dflume.root.logger=INFO,console

二、kafka作为Sink 【数据从别的地方抽取到kafka里面】

1、创建一个flume脚本文件:flume-kafka-sink.conf

在flume-kafka-sink.conf文件中写入:

a1.sources = r1

a1.channels = c1

a1.sinks=k1

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

a1.sources.r1.type = netcat

a1.sources.r1.bind = bigdata01

a1.sources.r1.port = 44444

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k1.kafka.topic = bigdata

a1.sinks.k1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092

a1.sinks.k1.kafka.producer.acks = 1

a1.sinks.k1.kafka.producer.linger.ms = 1

2、测试

启动:

bash 复制代码
flume-ng agent -n a1 -c ../ -f flume-kafka-sink.conf -Dflume.root.logger=INFO,console

使用telnet命令,向端口发送消息:

bash 复制代码
yum -y install telnet

telnet bigdata01 44444

在窗口不断的发送文本数据,数据被抽取到了kafka中,如何获取kafka数据呢?使用消费者:

bash 复制代码
kafka-console-consumer.sh --topic bigdata --bootstrap-server bigdata01:9092
相关推荐
free42 分钟前
基于librdkafa C++客户端生产者发送数据失败问题处理#2
c++·kafka
不吃饭的猪1 小时前
kafka启动小脚本
分布式·kafka
休息一下接着来1 小时前
MinIO 分布式模式与纠删码
分布式·minio
胆怯的ai萌新2 小时前
论文阅读/博弈论/拍卖:《Truthful Auction for Cooperative Communications》
分布式·信息与通信
失散134 小时前
分布式专题——10.1 ShardingSphere介绍
java·分布式·架构·shardingsphere·分库分表
阿雄不会写代码6 小时前
分布式部署的A2A strands agents sdk架构中的最佳选择,使用open search共享模型记忆
分布式·架构
许泽宇的技术分享8 小时前
微软图引擎GraphEngine深度解析:分布式内存计算的技术革命
分布式·microsoft
AAA修煤气灶刘哥9 小时前
ES数据同步大乱斗:同步双写 vs MQ异步,谁才是王者?
分布式·后端·elasticsearch
程序消消乐10 小时前
ZooKeeper Multi-op+乐观锁实战优化:提升分布式Worker节点状态一致性
分布式·zookeeper·云原生