flink kafka消费者如何处理kafka主题的rebalance

背景:

我们日常使用kafka客户端消费kafka主题的消息时,当消费者退出/加入消费者组,kafka主题分区数有变等事件发生时,都会导致rebalance的发生,此时一般情况下,如果我们不自己处理offset,我们不需要理会这个rebalance的,当rebalance完成后,每个消费者会从__consumer_offsets中获取每个消费者此时的消费偏移位置,继续进行消费,此时有可能会重复消费.

flink对于kafka的rebalance的处理

我们之前说的是正常的情况下rebalance后消费者会从__consumer_offsets中获取偏移位置进行消费,那么对于开启了检查点的flink来说有什么不一样呢?

由于flink只有在checkpoint完成后才会提交偏移到broker服务器,如果按照之前的理解,那么当rebalance发生时,消费者从__consumer_offsets中获取比偏移位置的话也就意味着这个值是上一个checkpoint提交的偏移值,如果顺着这个思路往下,kafka的偏移相当于重置到了上一个checkpoint的位置,那么按理来说其他的状态,比如键值分区状态也会重置到上一个检查点的状态,要不然flink就不能保证状态的一致性了,所以真相到底是什么?

源码追踪:

1.首先看一下flink的kafka consumer的代码:

2.其中reassignPartitions方法代码如下所示:

3.再来看看assign方法的注释:

有没有恍然大悟的感觉?flink中使用assign的方式执行这个任务算子消费的kafka分区,是不会触发rebalance操作的.

彩蛋:

那这样的话,比如当kafka新增了满足条件的主题或者正在监听的主题新增了分区,flink是怎么消费到的?

相关推荐
IT研究室2 小时前
最新大数据毕业设计选题推荐-基于大数据的电商与本地服务消费评论数据可视化分析-大数据-Spark-Hadoop-Bigdata
大数据·信息可视化·课程设计
大大大大晴天️3 小时前
从 HDFS 到对象存储:计算存储分离如何重塑云原生大数据底座
大数据·云原生
大大大大晴天13 小时前
从 HDFS 到对象存储:计算存储分离如何重塑云原生大数据底座
大数据
用户3610588626121 天前
SparkStreaming 之 updateStateByKey 算子详解及代码实现
大数据·spark
咖啡屋和酒吧1 天前
“隐性肩颈紧张”正在透支精力|没有酸痛,不代表肩颈处于健康状态
大数据·精选
港股研究社1 天前
专注履约底座,顺丰同城在即时零售效率时代提升增长动能
大数据·人工智能
AI_yangxi1 天前
短视频矩阵系统选哪家
大数据·人工智能·矩阵
lupai1 天前
手机在网状态接口实测效果与质量评估
大数据·python·智能手机·api接口
大模型丫丫2 天前
Hermes Agent:轻量级智能体框架实战指南
大数据·运维·服务器
大大大大晴天2 天前
每天认识一个组件:SQL网关Apache Kyuubi
大数据