kafka-python 消费者消费不到消息

排除步骤1:

使用group_id="consumer_group_id_001"auto_offset_reset="earliest"

python 复制代码
from kafka import KafkaConsumer

consumer = KafkaConsumer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"],
                         enable_auto_commit=True, auto_commit_interval_ms=5000, group_id="test-consumer-group",
                         auto_offset_reset="earliest")
consumer.subscribe(['add_topic'])
for msg in consumer:
    print(msg.key, msg.value)

排除步骤2:

生产者发完消息后,在close中 先执行 producer.flush() ,再执行 producer.close()

python 复制代码
# -*- coding: utf-8 -*-

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"])
producer.send('add_topic', key=b'我是消息键',value=b'我是消息体,我是主角')
producer.flush()

排除步骤3:

使用offset 观看消息是否写到kafka中。

排除步骤4:

相关推荐
DemonAvenger3 天前
Kafka性能调优:从参数配置到硬件选择的全方位指南
性能优化·kafka·消息队列
初次攀爬者3 天前
ZooKeeper 实现分布式锁的两种方式
分布式·后端·zookeeper
yumgpkpm4 天前
AI视频生成:Wan 2.2(阿里通义万相)在华为昇腾下的部署?
人工智能·hadoop·elasticsearch·zookeeper·flink·kafka·cloudera
予枫的编程笔记4 天前
【Kafka高级篇】避开Kafka原生重试坑,Java业务端自建DLQ体系,让消息不丢失、不积压
java·kafka·死信队列·消息中间件·消息重试·dlq·java业务开发
倚肆4 天前
在 Windows Docker 中安装 Kafka 并映射 Windows 端口
docker·kafka
断手当码农4 天前
Redis 实现分布式锁的三种方式
数据库·redis·分布式
Sheffield5 天前
如果把ZooKeeper按字面意思比作动物园管理员……
elasticsearch·zookeeper·kafka
初次攀爬者5 天前
Redis分布式锁实现的三种方式-基于setnx,lua脚本和Redisson
redis·分布式·后端
雪碧聊技术5 天前
kafka的下载、安装、启动
kafka