kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
小江的记录本5 小时前
【事务】Spring Framework核心——事务管理:ACID特性、隔离级别、传播行为、@Transactional底层原理、失效场景
java·数据库·分布式·后端·sql·spring·面试
半桶水专家9 小时前
Kafka 性能瓶颈 → JMX 指标对照表
分布式·kafka
殷紫川10 小时前
别再乱用了!幂等处理与分布式锁,90% 开发者都踩过的坑与正确落地姿势
分布式·架构
Jack_David13 小时前
Kafka批量消息发送
java·分布式·kafka
wanhengidc14 小时前
服务器托管对企业的作用
大数据·运维·服务器·分布式·智能手机
Code知行合壹14 小时前
Spark使用总结
大数据·分布式·spark
Swift社区14 小时前
分布式能力不是功能,而是一种架构约束
分布式·架构
0xDevNull14 小时前
Apache Kafka 完全指南
分布式·kafka
zb2006412016 小时前
RabbitMQ 客户端 连接、发送、接收处理消息
分布式·rabbitmq·ruby