kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
Wang's Blog12 小时前
Kafka: 分布式配置管理的核心挑战
分布式·kafka
Wang's Blog13 小时前
Kafka: 生产环境配置优化与服务器最佳实践指南
服务器·kafka
回家路上绕了弯13 小时前
分布式事务TCC详解:高并发场景下的柔性事务最优解?
分布式·后端
是阿威啊13 小时前
【第一站】本地虚拟机部署Hadoop分布式集群
大数据·linux·hadoop·分布式
川2115 小时前
ZooKeeper配置+失误
linux·分布式·zookeeper
风途知识百科16 小时前
并网/分布式光伏气象站
人工智能·分布式
云和数据.ChenGuang16 小时前
运维工程师技术教程之Pull Requests(PR)
运维·分布式·git·数据库运维工程师·运维教程
西***634717 小时前
破局信息孤岛 赋能城市智治——分布式可视化系统驱动智慧城市指挥中心升级
人工智能·分布式·智慧城市
..空空的人17 小时前
C++基于protobuf实现仿RabbitMQ消息队列---服务器模块认识2
服务器·分布式·rabbitmq
上海锟联科技18 小时前
高精度DAS-U1000 解调卡
分布式·分布式光纤传感·光频域反射