kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
有梦想的攻城狮16 分钟前
kafka分区策略详解
分布式·kafka·linq·分区策略
郭涤生24 分钟前
第十章: 可观测性_《凤凰架构:构建可靠的大型分布式系统》
笔记·分布式·架构·系统架构
死磕java的孤行者1 小时前
Redis 分布式锁
数据库·redis·分布式
潘多编程3 小时前
Spring Boot分布式项目重试实战:九种失效场景与正确打开方式
spring boot·分布式·后端
敲键盘的小夜猫4 小时前
消息中间件对比与选型指南:Kafka、ActiveMQ、RabbitMQ与RocketMQ
kafka·rabbitmq·activemq
加油,旭杏7 小时前
【Redis】服务端高并发分布式结构
数据库·redis·分布式
信徒_9 小时前
Kafka 回溯消费
分布式·kafka
郭涤生13 小时前
Chapter 11: Stream Processing_《Designing Data-Intensive Application》
笔记·分布式
惊醒幡然117 小时前
消息队列之-Kafka
分布式·kafka
kill bert17 小时前
第30周Java分布式入门 消息队列 RabbitMQ
java·分布式·java-rabbitmq