kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
Jackyzhe9 小时前
从零学习Kafka:消费者组重平衡
分布式·学习·kafka
海南java第二人10 小时前
ClickHouse 部署模式完全指南:从单机到分布式集群的生产级选型
分布式·clickhouse
gQ85v10Db12 小时前
Redis 分布式锁进阶第三十四篇
数据库·redis·分布式
大G的笔记本14 小时前
Redis 分布式锁自动续期机制
数据库·redis·分布式
再战300年16 小时前
docker快速部署kafka集群
docker·容器·kafka
逆境不可逃17 小时前
Hello-Agents 第二部分-第六章:框架开发实践
java·人工智能·分布式·学习·架构·rabbitmq
富士康质检员张全蛋18 小时前
Kafka架构 HW和LEO
分布式·kafka
面向Google编程18 小时前
从零学习Kafka:调优
大数据·kafka
Jackeyzhe18 小时前
从零学习Kafka:调优
kafka
gQ85v10Db19 小时前
Redis分布式锁进阶第三十八篇
数据库·redis·分布式