kafka-python 消费者消费不到消息

排除步骤1:

使用group_id="consumer_group_id_001"auto_offset_reset="earliest"

python 复制代码
from kafka import KafkaConsumer

consumer = KafkaConsumer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"],
                         enable_auto_commit=True, auto_commit_interval_ms=5000, group_id="test-consumer-group",
                         auto_offset_reset="earliest")
consumer.subscribe(['add_topic'])
for msg in consumer:
    print(msg.key, msg.value)

排除步骤2:

生产者发完消息后,在close中 先执行 producer.flush() ,再执行 producer.close()

python 复制代码
# -*- coding: utf-8 -*-

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"])
producer.send('add_topic', key=b'我是消息键',value=b'我是消息体,我是主角')
producer.flush()

排除步骤3:

使用offset 观看消息是否写到kafka中。

排除步骤4:

相关推荐
LDG_AGI3 小时前
【推荐系统】深度学习训练框架(六):PyTorch DDP(DistributedDataParallel)数据并行分布式深度学习原理
人工智能·pytorch·分布式·python·深度学习·算法·spark
BD_Marathon4 小时前
【Zookeeper】Zookeeper内部的数据模型
linux·分布式·zookeeper
最笨的羊羊4 小时前
Flink CDC系列之:Kafka 数据接收器配置选项类KafkaDataSinkOptions
kafka·flink cdc系列·kafkadata·数据接收器配置选项类·sinkoptions
w***z504 小时前
分布式多卡训练(DDP)踩坑
分布式
h***59334 小时前
分布式与集群,二者区别是什么?
分布式
lucky_syq4 小时前
深入Spark核心:Shuffle全剖析与实战指南
大数据·分布式·python·spark
GIOTTO情4 小时前
技术深度拆解:Infoseek 媒体发布系统的分布式架构与自动化实现
分布式·架构·媒体
一个帅气昵称啊4 小时前
在.NET中如何优雅的使用DotNetCore.CAP实现分布式事务,事件总线和消息最终一致性
分布式·微服务·.net
o***Z4485 小时前
后端在分布式中的服务调用
分布式
青衫码上行5 小时前
分布式版本控制系统Git的安装和使用
分布式·git·svn