kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
梁萌16 小时前
分布式事物seata的AT模式实战
分布式·微服务·实战·seata·一致性·事物
失伟16 小时前
CDC(数据变更捕获)场景应用
mongodb·elasticsearch·kafka·kafka-connect
shaohaoyongchuang16 小时前
01-分布式基础-创建微服务项目
分布式·微服务·架构
Msshu12316 小时前
Type-C PD快充协议 PD快充诱骗协议芯片 PD/QC/FCP/SCP/AFC电压诱骗芯片
mongodb·zookeeper·eureka·kafka·consul
失伟17 小时前
kafka教程(新手使用单机版)
分布式·kafka
java_logo18 小时前
Apache Kafka Docker 容器化部署指南
运维·docker·云原生·容器·kafka·kubernetes·apache
Xyz996_18 小时前
Ceph分布式存储
分布式·ceph
绝顶少年18 小时前
Redis 五大核心应用场景实战解析:缓存、会话、排行榜、分布式锁与消息队列
redis·分布式·缓存
武子康18 小时前
Java-181 OSS 实战指南:Bucket/外链/防盗链/计费与常见坑
java·大数据·分布式·oss·云存储·fastdfs·ali
沧海寄馀生18 小时前
Apache Hadoop生态组件部署分享-Impala
大数据·hadoop·分布式·apache