kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
骑着蜗牛撵大象3277 小时前
558 万美元训出 671B 模型:DeepSeek-V3 算法与系统的协同拆解
分布式·算法·moe·deepseek-v3·mla·fp8训练
德迅云安全-上官7 小时前
德迅游戏盾:面向 TCP 业务的分布式云安全防护方案
分布式·tcp/ip·游戏
麻瓜code10 小时前
分布式锁演进:从一个用户下两单,到 Redisson,我改了四版
分布式·wpf
starzy199010 小时前
Kafka网络层第一道门:Acceptor线程是怎么启动的
大数据·kafka
skywalk816310 小时前
hive —— 多机 AI Agent 协同的任务总线:分布式,多节点同时运行,保障不会宕机
人工智能·hive·分布式
huaweichenai10 小时前
spring boot对接kafka实现消息队列处理
spring boot·后端·kafka
你看我名字10 小时前
Kafka 架构、消息可靠性与生产运维:从分区模型到故障治理
运维·架构·kafka
一条泥憨鱼10 小时前
【RabbitMQ】高级篇
java·分布式·rabbitmq·php·ruby
棣廷12 小时前
初识Spark Core
大数据·分布式·spark
凯凯姜20 小时前
分布式锁场景问题
分布式