kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
zl97989927 分钟前
RabbitMQ-延迟队列
分布式·rabbitmq
-大头.2 小时前
深入解析ZooKeeper核心机制
分布式·zookeeper·wpf
s***4535 小时前
【RabbitMQ】超详细Windows系统下RabbitMQ的安装配置
windows·分布式·rabbitmq
jinxinyuuuus5 小时前
Info Flow:分布式信息采集、数据去重与内容分级的工程实现
人工智能·分布式·程序人生·生活
WHFENGHE18 小时前
输电线路分布式故障定位在线监测装置:技术解析与实际应用价值
分布式
johnny23319 小时前
Kafka系列之脚本使用
kafka
BD_Marathon19 小时前
【Kafka】
分布式·kafka
FinTech老王19 小时前
集中式 vs 分布式数据库:金融用户如何选择?——金仓数据库的双架构实践与选型指南
数据库·分布式·金融
Roye_ack21 小时前
【黑马点评 - 高级篇】Redis分布式缓存原理(Redis持久化 RDB AOF + 主从集群 哨兵 分片集群 + 多级缓存)
redis·分布式·缓存·aof·redis持久化·rdb·redis主从哨兵分片集群
b***594321 小时前
分布式WEB应用中会话管理的变迁之路
前端·分布式