flume采集netcat数据到kafka指定主题

在主节点使用Flume采集实时数据生成器25001端口的socket数据(实时数据生成器脚本为主节点/data_log目录下的gen_ds_data_to_socket脚本,该脚本为Master节点本地部署且使用socket传输),将数据存入到Kafka的Topic中(Topic名称为ods_mall_log,分区数为2,ZK关于Kafka的信息在其/kafka节点),使用Kafka自带的消费者消费ods_mall_log(Topic)中的数据,查看Topic中的前1条数据的结果,

Flume配置

bash 复制代码
a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=8087

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic=ods_mall_log
a1.sinks.k1.kafka.bootstrap.servers=master:9092


a1.channels.c1.type=memory

a1.sinks.k1.channel=c1
a1.sources.r1.channels=c1

kafka 消费数据

bash 复制代码
 kafka-console-consumer.sh --bootstrap-server master:9092  --topic ods_mall_log  --from-beginning --max-messages 1
相关推荐
爱搞技术的猫猫41 分钟前
实现API接口的自动化
大数据·运维·数据库·性能优化·自动化·产品经理·1024程序员节
路由侠内网穿透1 小时前
飞牛私有云访问外网
大数据·服务器·开源软件
lzhlizihang1 小时前
Kafka面试题(一)
分布式·kafka·面试题
追光天使1 小时前
大数据相关技术的基本概念?
大数据
lfjcjy1 小时前
成都栩熙酷网络科技有限公司抖音小店中的佼佼者
大数据
星染xr2 小时前
如何保证kafka生产者数据可靠性
分布式·kafka
Mephisto.java2 小时前
【大数据学习 | HBASE高级】hive操作hbase
大数据·hbase
qq_446598042 小时前
contos7.9 部署3节点 hadoop3.4 集群 非高可用
大数据·hadoop
BD_Marathon3 小时前
Spark:背压机制
大数据·分布式·spark
_waylau3 小时前
Spark 新作《循序渐进 Spark 大数据应用开发》简介
大数据·分布式·spark·应用开发