kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
Wang's Blog1 小时前
Kafka: 消费者高级实践之分区控制、多线程处理与 Offset 管理
分布式·kafka
老鱼说AI2 小时前
经典论文精读第一期:DeepSeek-R1-Zero ——RL奇迹
人工智能·分布式·深度学习·神经网络·自然语言处理·nlp·transformer
闲人编程3 小时前
OpenTelemetry分布式追踪
分布式·wpf·trace·追踪·open telemetry·codecapsule
BUTCHER54 小时前
【漏洞扫描】ZooKeeper 未授权访问
分布式·zookeeper·云原生
苦学编程的谢4 小时前
RabbitMQ_9_RabbitMQ应用问题
分布式·rabbitmq
武子康4 小时前
大数据-192 DataX 3.0 架构与实战:Reader/Writer 插件模型、Job/TaskGroup 调度、speed/errorLimit 配置速
大数据·分布式·后端
Lisonseekpan4 小时前
Kafka、ActiveMQ、RabbitMQ、RocketMQ对比
java·后端·kafka·rabbitmq·rocketmq·activemq
虫小宝4 小时前
拼多多返利app分布式锁设计:解决高并发下的佣金超发问题
分布式
Wang's Blog5 小时前
Kafka: 分布式配置动态更新之微服务总线实现
分布式·微服务·kafka
老马聊技术5 小时前
HBase完全分布式集群搭建详细教程
数据库·分布式·hbase