kafka操作的一些坑

1.如果Offset Explorer能够检测到kafka中的数据,但是自己的kafka无法读取到

这个问题主要是由于kafka中的信息已经被消费掉了造成的

java 复制代码
consumer.commitAsync();

这里如果已经消费掉了kafka的信息,那么已经被消费掉的kafka数据就不会被再读取掉,除非修改offset偏移量

2.如果一直报错Attempt to heart beat failed since the group is rebalancing,此时需要修改心跳时间,一般改为200的时候就可以解决问题

java 复制代码
props.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG,200);

成功解决此问题

相关推荐
isNotNullX2 小时前
分布式计算技术是什么?在数据集成值得作用?
大数据·数据仓库·hadoop·分布式·database·etl
Acrelguyangyu4 小时前
10KV并网分布式光伏电力监控解决方案
分布式
bug菌¹5 小时前
滚雪球学SpringCloud[6.3讲]: 分布式日志管理与分析
分布式·spring·spring cloud
Imagination官方博客5 小时前
【白皮书下载】分布式功能安全的创新与突破
分布式·安全
YCyjs5 小时前
Kafka
运维·分布式·kafka
最菜的Bird6 小时前
Apache Doris 实践
java·kafka·doris
Lill_bin6 小时前
SpringCloud解读
分布式·后端·spring·spring cloud·hystrix·架构
阳光阿盖尔9 小时前
Redisson分布式锁主从一致性问题
java·redis·分布式
DieSnowK9 小时前
[Redis][Hash]详细讲解
redis·分布式·缓存·hash·使用场景·新手向·redis数据类型
goTsHgo9 小时前
Flink的反压机制:底层原理、产生原因、排查思路与解决方案
大数据·分布式·flink