kafka-python 消费者消费不到消息

排除步骤1:

使用group_id="consumer_group_id_001"auto_offset_reset="earliest"

python 复制代码
from kafka import KafkaConsumer

consumer = KafkaConsumer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"],
                         enable_auto_commit=True, auto_commit_interval_ms=5000, group_id="test-consumer-group",
                         auto_offset_reset="earliest")
consumer.subscribe(['add_topic'])
for msg in consumer:
    print(msg.key, msg.value)

排除步骤2:

生产者发完消息后,在close中 先执行 producer.flush() ,再执行 producer.close()

python 复制代码
# -*- coding: utf-8 -*-

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers=["dev-kafka01.test.xxx.cloud:9092"])
producer.send('add_topic', key=b'我是消息键',value=b'我是消息体,我是主角')
producer.flush()

排除步骤3:

使用offset 观看消息是否写到kafka中。

排除步骤4:

相关推荐
长不胖的路人甲8 小时前
RabbitMQ 死信队列 DLQ
分布式·rabbitmq
可乐ea8 小时前
【Redis八股|第8篇】Redis 分布式锁原理与 Redisson 使用
数据库·redis·分布式·面试题·redis八股
逸Y 仙X11 小时前
Spark部署
大数据·分布式·spark
BD_Marathon12 小时前
什么是Spark
大数据·分布式·spark
xian_wwq12 小时前
【学习笔记】分布式推理:TP / PP / EP / CP 并行策略详解(20/35)
笔记·分布式·学习·ai
记忆停留w13 小时前
Celery+Redis 分布式异步任务队列工程落地业务逻辑
大数据·人工智能·redis·分布式·缓存·架构·wpf
LitchiCheng14 小时前
DGX Spark部署ComfyUI(一键安装脚本)
大数据·分布式·spark
千逐6814 小时前
鸿蒙实战:ArkData 数据持久化管理全景解析——从 Preferences 到分布式数据同步
分布式·华为·harmonyos
草莓熊Lotso14 小时前
【Redis 初阶】 从分布式演进背景到环境搭建全解析
数据库·人工智能·redis·分布式·缓存
AI-好学者14 小时前
Redis高可用与分布式架构
redis·分布式·缓存·架构