kafka和Flume的整合

目录

[一、Kafka作为Source 【数据进入到kafka中,抽取出来】](#一、Kafka作为Source 【数据进入到kafka中,抽取出来】)

1、在我的flume的conf文件夹下,有个myconf文件夹:

[2、 创建一个flume脚本文件: kafka-memory-logger.conf](#2、 创建一个flume脚本文件: kafka-memory-logger.conf)

3、测试

[二、kafka作为Sink 【数据从别的地方抽取到kafka里面】](#二、kafka作为Sink 【数据从别的地方抽取到kafka里面】)

1、创建一个flume脚本文件:flume-kafka-sink.conf

2、测试


一、Kafka作为Source 【数据进入到kafka中,抽取出来】

1、在我的flume的conf文件夹下,有个myconf文件夹:

2、 创建一个flume脚本文件: kafka-memory-logger.conf

flume学习网站:Flume 1.9用户手册中文版 --- 可能是目前翻译最完整的版本了 (liyifeng.org)

bash 复制代码
# 来到这个目录下
cd /opt/installs/flume/conf/myconf
# 创建一个conf文件
vi kafka-memory-logger.conf

在kafka-memory-logger.conf文件中写入:

a1.sources = r1

a1.channels = c1

a1.sinks=k1

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource

a1.sources.r1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092

a1.sources.r1.kafka.topics = bigdata

a1.sources.r1.kafka.consumer.group.id = text7

a1.sources.r1.batchSize = 100

a1.sources.r1.batchDurationMillis = 2000

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = logger

a1.sinks.k1.maxBytesToLog = 128

3、测试

启动一个消息生产者,向topic中发送消息,启动flume,接收消息

  • 启动一个消息生产者,向topic中发送消息:
bash 复制代码
kafka-console-producer.sh --bootstrap-server bigdata01:9092 --topic bigdata
  • 启动flume,接收消息
bash 复制代码
flume-ng agent -n a1 -c ../ -f kafka-memory-logger.conf -Dflume.root.logger=INFO,console

二、kafka作为Sink 【数据从别的地方抽取到kafka里面】

1、创建一个flume脚本文件:flume-kafka-sink.conf

在flume-kafka-sink.conf文件中写入:

a1.sources = r1

a1.channels = c1

a1.sinks=k1

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

a1.sources.r1.type = netcat

a1.sources.r1.bind = bigdata01

a1.sources.r1.port = 44444

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k1.kafka.topic = bigdata

a1.sinks.k1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092

a1.sinks.k1.kafka.producer.acks = 1

a1.sinks.k1.kafka.producer.linger.ms = 1

2、测试

启动:

bash 复制代码
flume-ng agent -n a1 -c ../ -f flume-kafka-sink.conf -Dflume.root.logger=INFO,console

使用telnet命令,向端口发送消息:

bash 复制代码
yum -y install telnet

telnet bigdata01 44444

在窗口不断的发送文本数据,数据被抽取到了kafka中,如何获取kafka数据呢?使用消费者:

bash 复制代码
kafka-console-consumer.sh --topic bigdata --bootstrap-server bigdata01:9092
相关推荐
hhhjjjj6 小时前
kafka4使用记录
kafka
koping_wu7 小时前
【Redis】用Redis实现分布式锁、乐观锁
数据库·redis·分布式
Lansonli8 小时前
大数据Spark(六十八):Transformation转换算子所有Join操作和union
大数据·分布式·spark
Z_z在努力15 小时前
【rabbitmq】RabbitMQ 全面详解:从核心概念到高级应用
分布式·rabbitmq
2301_7720935617 小时前
Fastdfs_MinIO_腾讯COS_具体逻辑解析
数据库·redis·分布式·中间件
Light6018 小时前
《领码 SPARK 融合平台》投资研究报告(最终完整版)
分布式·架构·spark·零信任·安全运营
shinelord明18 小时前
【大数据开发实践】Kafka REST Proxy~无缝集成 Kafka
大数据·分布式·架构·kafka
笨蛋少年派20 小时前
操作Hadoop时,慎用sudo
大数据·hadoop·分布式
火星资讯20 小时前
Zenlayer 推出分布式推理平台,加速 AI 创新全球落地
人工智能·分布式·科技
老葱头蒸鸡1 天前
(2)Kafka架构原理与存储机制
分布式·架构·kafka