kafka-python 消费者消费不到消息

排除步骤1:

使用group_id="consumer_group_id_001"auto_offset_reset="earliest"

python 复制代码
from kafka import KafkaConsumer

consumer = KafkaConsumer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"],
                         enable_auto_commit=True, auto_commit_interval_ms=5000, group_id="test-consumer-group",
                         auto_offset_reset="earliest")
consumer.subscribe(['add_topic'])
for msg in consumer:
    print(msg.key, msg.value)

排除步骤2:

生产者发完消息后,在close中 先执行 producer.flush() ,再执行 producer.close()

python 复制代码
# -*- coding: utf-8 -*-

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"])
producer.send('add_topic', key=b'我是消息键',value=b'我是消息体,我是主角')
producer.flush()

排除步骤3:

使用offset 观看消息是否写到kafka中。

排除步骤4:

相关推荐
纪莫5 小时前
Kafka如何保证「消息不丢失」,「顺序传输」,「不重复消费」,以及为什么会发生重平衡(reblanace)
java·分布式·后端·中间件·kafka·队列
想躺平的咸鱼干5 小时前
RabbitMQ 基础
java·分布式·rabbitmq·idea·amqp·消息转换器·交换机模型
poemyang7 小时前
千亿消息“过眼云烟”?Kafka把硬盘当内存用的性能魔法,全靠这一手!
kafka·高并发·pagecache·存储架构·顺序i/o·局部性原理
KaiwuDB7 小时前
KWDB 分布式架构探究——数据分布与特性
数据库·分布式
武子康8 小时前
大数据-75 Kafka 高水位线 HW 与日志末端 LEO 全面解析:副本同步与消费一致性核心
大数据·后端·kafka
华仔啊8 小时前
乐观锁、悲观锁和分布式锁,你用对了吗?
java·分布式
艾希逐月1 天前
分布式唯一 ID 生成方案
分布式
齐木卡卡西在敲代码1 天前
kafka的pull的依据
分布式·kafka
超级迅猛龙1 天前
保姆级Debezium抽取SQL Server同步kafka
数据库·hadoop·mysql·sqlserver·kafka·linq·cdc
lllsure1 天前
RabbitMQ 基础
分布式·rabbitmq