Flume和kafka的整合

1、Kafka作为Source 【数据进入到kafka中,抽取出来】

在flume的conf文件夹下,有一个flumeconf 文件夹:这个文件夹是自己创建的
创建一个flume脚本文件: kafka-memory-logger.conf

Flume 1.9用户手册中文版 --- 可能是目前翻译最完整的版本了

java 复制代码
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.r1.batchSize = 100
a1.sources.r1.batchDurationMillis = 2000
a1.sources.r1.kafka.bootstrap.servers = bigdata01:9092,bigdata02:9092,bigdata03:9092
a1.sources.r1.kafka.topics = five
a1.sources.r1.kafka.consumer.group.id = qiaodaohu

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sinks.k1.type = logger
a1.sinks.k1.maxBytesToLog = 128

接着创建一个topic ,名字叫做 kafka-flume,或者直接使用以前的five 主题

创建主题的命令

kafka-topics.sh --create --topic kafka-flume --bootstrap-server bigdata01:9092 --partitions 3 --replication-factor 1

测试:

启动一个消息生产者,向topic中发送消息,启动flume,接收消息

kafka-console-producer.sh --topic kafka-flume --bootstrap-server bigdata01:9092

相关推荐
Hello.Reader20 分钟前
Flink DataStream API 从基础原语到一线落地
大数据·flink
智海观潮23 分钟前
Flink在与AI集成的路上再次“遥遥领先” - Flink Agents
大数据·人工智能·flink
北邮-吴怀玉4 小时前
1.4.1 大数据方法论与实践指南-元数据治理
大数据
菜鸡儿齐6 小时前
kafka简介
分布式·kafka
11年老程序猿在线搬砖6 小时前
如何搭建自己的量化交易平台
大数据·人工智能·python·自动交易·量化交易系统
Elastic 中国社区官方博客6 小时前
Elasticsearch 开放推理 API 增加了对 Google 的 Gemini 模型的支持
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·googlecloud
周杰伦_Jay6 小时前
【实战|旅游知识问答RAG系统全链路解析】从配置到落地(附真实日志数据)
大数据·人工智能·分布式·机器学习·架构·旅游·1024程序员节
B站_计算机毕业设计之家7 小时前
python电商商品评论数据分析可视化系统 爬虫 数据采集 Flask框架 NLP情感分析 LDA主题分析 Bayes评论分类(源码) ✅
大数据·hadoop·爬虫·python·算法·数据分析·1024程序员节
rit84324997 小时前
Git常用命令的详细指南
大数据·git·elasticsearch
赵谨言8 小时前
基于Python Web的大数据系统监控平台的设计与实现
大数据·开发语言·经验分享·python