kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
数翊科技12 分钟前
深度解析 HexaDB分布式 DDL 的全局一致性
分布式
Tony Bai3 小时前
【分布式系统】03 复制(上):“权威中心”的秩序 —— 主从架构、一致性与权衡
大数据·数据库·分布式·架构
雨中飘荡的记忆11 小时前
Kafka入门:从零开始掌握消息队列
kafka
txinyu的博客11 小时前
HTTP服务实现用户级窗口限流
开发语言·c++·分布式·网络协议·http
独自破碎E11 小时前
RabbitMQ中的Prefetch参数
分布式·rabbitmq
深蓝电商API12 小时前
Scrapy+Rredis实现分布式爬虫入门与优化
分布式·爬虫·scrapy
indexsunny13 小时前
互联网大厂Java面试实战:Spring Boot与微服务在电商场景的应用解析
java·spring boot·redis·微服务·kafka·gradle·maven
回家路上绕了弯13 小时前
定期归档历史数据实战指南:从方案设计到落地优化
分布式·后端
rchmin14 小时前
Distro与Raft协议对比分析
分布式·cap
小辉笔记14 小时前
kafka原理总结
分布式·kafka