kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
秋饼44 分钟前
【三大锁王争霸赛:Java锁、数据库锁、分布式锁谁是卷王?】
java·数据库·分布式
回家路上绕了弯2 小时前
深度解析分布式事务3PC:解决2PC痛点的进阶方案
分布式·后端
Boilermaker19922 小时前
[Redis] 分布式缓存与分布式锁
redis·分布式·缓存
lhrimperial5 小时前
RabbitMQ核心技术深度解析
分布式·rabbitmq·ruby
Wang's Blog5 小时前
RabbitMQ: 高可用集群与跨集群通信架构深度解析
分布式·架构·rabbitmq
爱学大树锯6 小时前
【高并发多线程原理】-分布式场景下解决一致性问题方案
分布式
xerthwis7 小时前
Kafka:现代数据架构的“脊椎”与“神经”,重新定义数据流动的民主化
大数据·kafka·数据库开发·数据库架构
灯下夜无眠7 小时前
Spark Executor 与 Driver 在三种模式下的区别
大数据·分布式·spark
赫尔·普莱蒂科萨·帕塔8 小时前
DeepMind 分布式 AGI 安全框架与拼凑型 AI 群技术深度分析
分布式·安全·agi
Vic101018 小时前
Redis防重复点击与分布式锁
java·数据库·redis·分布式