kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
梦想的颜色7 分钟前
Kafka内核解密:架构拓扑、数据流转与生产消费模型的深度剖析
kafka·高并发·多线程·异步·消息组件·生产者与消费者模式
giaz14n9X16 分钟前
Redis 分布式锁进阶第六十一篇
数据库·redis·分布式
洛水水2 小时前
消息队列与Kafka详解
分布式·kafka
鸿乃江边鸟3 小时前
Spark中怎么做Spark canonicalize归一化
大数据·分布式·spark
SLD_Allen3 小时前
Kafka分区与消费者的关系kafka分区和消费者线程的关系
分布式·kafka
he___H4 小时前
数据密集型应用系统设计--其一
分布式
珠***格6 小时前
Ⅱ型边缘网关|易部署、易扩容、易改造
大数据·人工智能·分布式·能源·边缘计算
无心水6 小时前
17、本地多模态|Qwen-VL离线私有化提取敏感PDF完全指南
人工智能·分布式·架构·openclaw·hermes
Solis程序员7 小时前
分布式 SingleFlight:从单机请求合并到集群级远程调用去重
分布式
填满你的记忆8 小时前
Kafka 面试题 Top40
分布式·kafka