kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
十五年专注C++开发5 小时前
Jieba库: 一个中文分词领域的经典库
c++·分布式·自然语言处理·中文分词
Vic101015 小时前
【无标题】
java·数据库·分布式
武子康6 小时前
Java-216 RocketMQ 4.5.1 在 JDK9+ 从0到1全流程启动踩坑全解:脚本兼容修复(GC 参数/CLASSPATH/ext.dirs)
java·大数据·分布式·消息队列·系统架构·rocketmq·java-rocketmq
回家路上绕了弯6 小时前
分布式事务本地消息表详解:中小团队的低侵入落地方案
分布式·后端
Wang's Blog6 小时前
Kafka: 高吞吐量原理、应用场景
分布式·kafka
东东的脑洞6 小时前
【面试突击】Kafka 核心面试知识点
面试·职场和发展·kafka
笨蛋少年派6 小时前
*Spark简介
大数据·分布式·spark
十五年专注C++开发7 小时前
librf: 一款基于 C++11/14/17 标准实现的轻量级无栈协程库
开发语言·c++·分布式·异步io
好大哥呀7 小时前
Hadoop yarn
大数据·hadoop·分布式
西***63477 小时前
分布式可视化驱动 —— 指挥中心音视频及智能管控系统实施体系
分布式