kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
en-route10 分钟前
Spring Boot 集成 Kafka 实践与最佳实践指南
spring boot·后端·kafka
yumgpkpm20 分钟前
Hadoop 与AI大模型实战:从Hive、Impala(Cloudera CDH、CDP)海量数据到 AI 决策的落地方法
arm开发·人工智能·hive·zookeeper·flink·kafka·cloudera
java_logo27 分钟前
Apache RocketMQ Docker 容器化部署指南
运维·docker·容器·kafka·kubernetes·apache·rocketmq
腾讯云中间件15 小时前
Kafka 集群上云新突破:腾讯云 CKafka 联邦迁移方案
云原生·kafka·消息队列
跟着珅聪学java15 小时前
在电商系统中,如何确保库存扣减的原子性
分布式
JH307317 小时前
Redisson 看门狗机制:让分布式锁“活”下去的智能保镖
分布式
一点 内容18 小时前
深入理解分布式共识算法 Raft:从原理到实践
分布式·区块链·共识算法
8Qi818 小时前
分布式锁-redission
java·redis·分布式·redisson
19 小时前
鸿蒙——分布式数据库
数据库·分布式
jiayong2319 小时前
微服务架构与 Spring 生态完全指南
kafka·rabbitmq·rocketmq