kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
zhangzeyuaaa1 分钟前
Python多进程同步与共享内存完全指南:从Lock到分布式共享
开发语言·分布式·python
aini_lovee10 分钟前
多智能体点对点转换的分布式模型预测控制(DMPC)
分布式
_F_y34 分钟前
仿RabbitMQ实现消息队列-项目设计
分布式·rabbitmq
keep intensify3 小时前
MIT 6.824 lab3B/C
分布式·后端·golang
java1234_小锋3 小时前
RabbitMQ中有哪几种交换机类型?
分布式·rabbitmq
代码漫谈3 小时前
探索RabbitMQ集群:如何实现消息的高可用性和负载均衡
分布式·消息队列·rabbitmq·负载均衡
weisian15118 小时前
Java并发编程--45-分布式一致性协议入门:Raft、Paxos与ZAB的核心思想
java·分布式·raft·paxos·zab
juniperhan20 小时前
Flink 系列第17篇:Flink Table&SQL 核心概念、原理与实战详解
大数据·数据仓库·分布式·sql·flink
卢傢蕊21 小时前
FastDFS 分布式存储
分布式·fastdfs
菜鸟小码1 天前
Hadoop大数据时代的底座和基石
大数据·hadoop·分布式