flume采集netcat数据到kafka指定主题

在主节点使用Flume采集实时数据生成器25001端口的socket数据(实时数据生成器脚本为主节点/data_log目录下的gen_ds_data_to_socket脚本,该脚本为Master节点本地部署且使用socket传输),将数据存入到Kafka的Topic中(Topic名称为ods_mall_log,分区数为2,ZK关于Kafka的信息在其/kafka节点),使用Kafka自带的消费者消费ods_mall_log(Topic)中的数据,查看Topic中的前1条数据的结果,

Flume配置

bash 复制代码
a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=8087

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic=ods_mall_log
a1.sinks.k1.kafka.bootstrap.servers=master:9092


a1.channels.c1.type=memory

a1.sinks.k1.channel=c1
a1.sources.r1.channels=c1

kafka 消费数据

bash 复制代码
 kafka-console-consumer.sh --bootstrap-server master:9092  --topic ods_mall_log  --from-beginning --max-messages 1
相关推荐
Natural_yz15 分钟前
大数据学习17之Spark-Core
大数据·学习·spark
莫叫石榴姐1 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
魔珐科技2 小时前
以3D数字人AI产品赋能教育培训人才发展,魔珐科技亮相AI+教育创新与人才发展大会
大数据·人工智能
上优3 小时前
uniapp 选择 省市区 省市 以及 回显
大数据·elasticsearch·uni-app
samLi06204 小时前
【更新】中国省级产业集聚测算数据及协调集聚指数数据(2000-2022年)
大数据
Mephisto.java4 小时前
【大数据学习 | Spark-Core】Spark提交及运行流程
大数据·学习·spark
EasyCVR5 小时前
私有化部署视频平台EasyCVR宇视设备视频平台如何构建视频联网平台及升级视频转码业务?
大数据·网络·音视频·h.265
hummhumm5 小时前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j
科技象限6 小时前
电脑禁用U盘的四种简单方法(电脑怎么阻止u盘使用)
大数据·网络·电脑
BestandW1shEs7 小时前
彻底理解消息队列的作用及如何选择
java·kafka·rabbitmq·rocketmq