kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
csdn2015_2 小时前
kafka如何保证消息的顺序
分布式·kafka
csdn2015_4 小时前
kafka如何确保消息不丢失
数据库·分布式·kafka
952365 小时前
RabbitMQ - 高级特性
java·spring boot·分布式·后端·rabbitmq
Database_Cool_6 小时前
阿里云 PolarDB-X vs TiDB 分布式数据库选型指南
数据库·分布式·阿里云·tidb
数据库小学妹6 小时前
分布式数据库架构怎么选?三种路线对比+迁移避坑指南
数据库·分布式·分布式数据库·数据库架构·数据迁移·数据库选型
大师兄66686 小时前
HarmonyOS7 分布式流转:手机到平板无缝接续案例
分布式·跨设备·harmonyos7·分布式流转
一只积极向上的小咸鱼6 小时前
多机Docker + InfiniBand 分布式运行实操手册
分布式·docker·容器
AndrewHZ6 小时前
【LLM技术全景】混合精度与分布式训练:训练大模型的工程奥秘
人工智能·分布式·深度学习·算法·ai·语言模型·llm
ffqws_15 小时前
Redis 分布式锁:基于 Redisson 的实现与面试高频问答
redis·分布式·面试
六bring个六21 小时前
open Harmony中分布式软总线的学习任务清单
分布式·学习·c/c++·open harmony