kafka-python 消费者消费不到消息

排除步骤1:

使用group_id="consumer_group_id_001" 和 auto_offset_reset="earliest"

python 复制代码
from kafka import KafkaConsumer

consumer = KafkaConsumer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"],
                         enable_auto_commit=True, auto_commit_interval_ms=5000, group_id="test-consumer-group",
                         auto_offset_reset="earliest")
consumer.subscribe(['add_topic'])
for msg in consumer:
    print(msg.key, msg.value)

排除步骤2:

生产者发完消息后,在close中 先执行 producer.flush() ,再执行 producer.close()

python 复制代码
# -*- coding: utf-8 -*-

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"])
producer.send('add_topic', key=b'我是消息键',value=b'我是消息体,我是主角')
producer.flush()

排除步骤3:

使用offset 观看消息是否写到kafka中。

排除步骤4:

相关推荐
m0_6399069432 分钟前
MySQL 实现分布式锁:悲观锁、乐观锁、唯一索引锁
数据库·分布式·mysql
T量子永生2 小时前
Android SISO 分布式编译集群配置方案
android·分布式·云计算·源代码管理
starzy199015 小时前
Kafka响应发送:字节是怎么真正写回客户端的
大数据·kafka
KaiwuDB15 小时前
KaiwuDB 分布式集群扩缩容,从原理到完整操作踩坑总结
运维·数据库·分布式
泡海椒16 小时前
深度解析JQuick-SQL AST到逻辑计划转换机制|分布式SQL原理
数据库·分布式·sql
阳光不锈@17 小时前
三大主流消息队列架构设计思想剖析:从 RabbitMQ 到 RocketMQ 的改造实践
kafka·rabbitmq·rocketmq·rabbit改造rocket·去除rabbitmq·rabbitmq改造
泡海椒19 小时前
深度解析JQuick-SQL SQL解析与AST生成机制|分布式SQL原理
数据库·分布式·sql
ZealSinger21 小时前
Boot4升后Kafka retry属性怎么改
kafka·retry·boot4·升级踩坑
2603_9547083121 小时前
微能网协调控制箱的架构优势对能源管理的影响?
大数据·人工智能·分布式·安全·架构
starzy19901 天前
KafkaProducer 源码深度剖析:处理粘包问题的完美方案
大数据·kafka