kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
yumgpkpm11 小时前
AI评判:信创替代对Cloudera CDH CDP Hadoop大数据平台有何影响?
大数据·hive·oracle·flink·kafka·hbase·cloudera
CRUD酱12 小时前
微服务分模块后怎么跨模块访问资源
java·分布式·微服务·中间件·java-ee
回家路上绕了弯12 小时前
定时任务实战指南:从单机到分布式,覆盖Spring Scheduler/Quartz/XXL-Jo
分布式·后端
rchmin14 小时前
开源分布式ID生成方案接入介绍
分布式·开源
西***634714 小时前
赋能指挥中枢:分布式KVM坐席协作系统技术与应用
分布式
Tony Bai14 小时前
【分布式系统】01 为何分布式?—— Vibe Coding 时代的系统设计哲学与我们的远征地图
分布式
技术小泽15 小时前
MQTT从入门到实战
java·后端·kafka·消息队列·嵌入式
云技纵横16 小时前
订票系统高并发实战:基于 ZooKeeper 的分布式锁、选座与幂等回滚(Java/Curator)
分布式·zookeeper·java-zookeeper
disgare16 小时前
关于分布式系统 RPC 中高可用功能的实现
java·分布式
小马爱打代码16 小时前
Kafka 偏移量(Offset):消费者如何记住消费位置?
分布式·kafka