kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
Blossom.11823 分钟前
Prompt工程与思维链优化实战:从零构建动态Few-Shot与CoT推理引擎
人工智能·分布式·python·智能手机·django·prompt·边缘计算
apocelipes2 小时前
docker-compose 部署单节点 kafka 4.0 测试环境
docker·golang·kafka·开发工具和环境
2301_8000509910 小时前
ceph分布式存储
笔记·分布式·ceph
YDS82911 小时前
SpringCloud —— 分布式事务管理Seata详解
分布式·spring·spring cloud·seata
回家路上绕了弯12 小时前
分布式系统重试策略详解:可靠性与资源消耗的平衡艺术
分布式·后端
无名小卒Rain13 小时前
Jmeter性能测试-分布式压测配置和执行过程
分布式·jmeter
a程序小傲13 小时前
蚂蚁Java面试被问:分布式Session的实现方案
java·分布式·面试
a努力。13 小时前
京东Java面试:如何设计一个分布式ID生成器
java·分布式·后端·面试
前端世界13 小时前
HarmonyOS 分布式硬件实战指南:从原理到可运行 Demo
分布式·华为·harmonyos