kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
一条大祥脚4 小时前
【CS336】lecture7 多卡|通信架构|集合通信|NCCL|通信原语|torch.distributed
分布式·架构·nccl·多机多卡·集合通信
程序员梅雨7 小时前
ZooKeeper面经总结
java·大数据·linux·分布式·后端·zookeeper·中间件
我是人✓7 小时前
Git入门:从零开始掌握分布式版本控制
分布式·git
guo_wen_qiang10 小时前
redis持久化
数据库·redis·分布式
buligbulig11 小时前
Hadoop正在失败?不,它正在壮大
大数据·hadoop·分布式
十年Java程序媛11 小时前
Redis 分布式锁 + GZIP 压缩缓存踩坑|高并发缓存真实线上复盘
java·开发语言·spring boot·redis·分布式·缓存·面试
啦啦啦啦啦zzzz12 小时前
分布式存储----缓存组
linux·服务器·c++·分布式·缓存
guo_wen_qiang15 小时前
kafka重复消费
分布式·kafka
霸道流氓气质16 小时前
分布式锁(Distributed Lock)详解
分布式
j7~16 小时前
【仿 RabbitMQ 项目】发布订阅消息队列 (篇九):队列数据管理,内存镜像 + SQLite 持久化实现
数据库·c++·分布式·sqlite·rabbitmq·队列数据管理