kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
敖正炀13 小时前
高并发系统的降级预案与容错策略
分布式·架构
敖正炀13 小时前
稳定性监控与告警体系:SLI/SLO/SLA 实践
分布式·架构
敖正炀14 小时前
故障演练与混沌工程:ChaosBlade 到 Litmus
分布式·架构
敖正炀14 小时前
全链路压测与容量规划方法论
分布式·架构
敖正炀14 小时前
限流算法深度与 Guava/Sentinel 源码:从单机令牌桶到分布式滑动窗口的流量防护体系
分布式·架构
山屿落星辰18 小时前
hixl - 让分布式训练“零拷贝“通信
分布式
逍遥德20 小时前
SpringBoot自带TaskScheduler 接口使用详解:(02)微服务多实例模式下,爆发任务重复执行问题
spring boot·分布式·后端·微服务·中间件
Devin~Y20 小时前
互联网大厂 Java 面试实录:JVM、Spring Boot、MyBatis、Redis、Kafka、Spring AI、K8s 全链路追问小Y
java·jvm·spring boot·redis·kafka·mybatis·spring security
倒流时光三十年21 小时前
第12篇 Rebalance 深度解析
spring boot·kafka
Solis程序员21 小时前
基于 Outbox 事务表 + Canal 监听+kafka+多级缓存:高并发社交关注系统全链路架构设计
分布式·kafka·linq