kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
chunyublog1 小时前
FinalShell 远程连接 Hadoop 三节点集群教程
大数据·hadoop·分布式
泡海椒1 小时前
深度解析JQuick-SQL 逻辑计划到物理计划生成机制|分布式SQL原理
数据库·分布式·sql
MrWind灬2 小时前
我给自己写了个 Kafka 桌面客户端:MrWindKafkaClient
kafka·pyqt
磁场转动100万匹2 小时前
Spark Core 核心原理:从 RDD 到分布式计算
大数据·分布式·spark
ZhengEnCi3 小时前
内存装不下怎么取 Top 100:外部排序与分布式 Top-K 的实测取舍
分布式·算法·排序算法
这个DBA有点耶20 小时前
分布式集群的“最后一公里”:分片集群与透明分布式集群的工程代价拆解
数据库·分布式·架构
一条闲鱼_mytube21 小时前
分布式 ID 生成方案:雪花算法与号段模式
分布式·算法·wpf
starzy19901 天前
KafkaProducer 源码深度剖析:与 Broker 建立连接
大数据·kafka
科学熊1 天前
Java 分布式理论与高并发编程
java·开发语言·分布式
我不会起名字3221 天前
Kafka 重复消费:自动提交位点与手动提交的 3 个错位
kafka·消息队列·幂等·排查