kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
Coder_Boy_2 分钟前
Java高级_资深_架构岗 核心知识点——高并发模块(底层+实践+最佳实践)
java·开发语言·人工智能·spring boot·分布式·微服务·架构
百锦再1 小时前
Java IO详解:File、FileInputStream与FileOutputStream
java·开发语言·jvm·spring boot·spring cloud·kafka·maven
tod1132 小时前
Redis 分布式锁进阶:从看门狗到 Redlock 的高可用实践
数据库·redis·分布式
百锦再2 小时前
Java InputStream和OutputStream实现类完全指南
java·开发语言·spring boot·python·struts·spring cloud·kafka
闲人编程2 小时前
Celery分布式任务队列
redis·分布式·python·celery·任务队列·异步化
予枫的编程笔记2 小时前
【Kafka基础篇】RabbitMQ、RocketMQ、Kafka怎么选?3种主流MQ核心差异实测解析
kafka·rabbitmq·rocketmq·分布式流处理·发布订阅模型·消息队列(mq)·点对点模型
予枫的编程笔记2 小时前
【Kafka基础篇】Kafka Producer发送机制全链路拆解:从拦截器到网络发送一文吃透
java·kafka·消息队列·分布式消息·producer发送机制·kafka核心原理·消息发送优化
tod1133 小时前
Redis:从消息中间件到分布式核心
服务器·开发语言·redis·分布式
yangyanping2010812 小时前
系统监控Prometheus之三自定义埋点上报
分布式·架构·prometheus
万象.15 小时前
redis缓存和分布式锁
redis·分布式·缓存