flink kafka消费者如何处理kafka主题的rebalance

背景:

我们日常使用kafka客户端消费kafka主题的消息时,当消费者退出/加入消费者组,kafka主题分区数有变等事件发生时,都会导致rebalance的发生,此时一般情况下,如果我们不自己处理offset,我们不需要理会这个rebalance的,当rebalance完成后,每个消费者会从__consumer_offsets中获取每个消费者此时的消费偏移位置,继续进行消费,此时有可能会重复消费.

flink对于kafka的rebalance的处理

我们之前说的是正常的情况下rebalance后消费者会从__consumer_offsets中获取偏移位置进行消费,那么对于开启了检查点的flink来说有什么不一样呢?

由于flink只有在checkpoint完成后才会提交偏移到broker服务器,如果按照之前的理解,那么当rebalance发生时,消费者从__consumer_offsets中获取比偏移位置的话也就意味着这个值是上一个checkpoint提交的偏移值,如果顺着这个思路往下,kafka的偏移相当于重置到了上一个checkpoint的位置,那么按理来说其他的状态,比如键值分区状态也会重置到上一个检查点的状态,要不然flink就不能保证状态的一致性了,所以真相到底是什么?

源码追踪:

1.首先看一下flink的kafka consumer的代码:

2.其中reassignPartitions方法代码如下所示:

3.再来看看assign方法的注释:

有没有恍然大悟的感觉?flink中使用assign的方式执行这个任务算子消费的kafka分区,是不会触发rebalance操作的.

彩蛋:

那这样的话,比如当kafka新增了满足条件的主题或者正在监听的主题新增了分区,flink是怎么消费到的?

相关推荐
m0_6197311919 分钟前
libmodbusTcp发送自定义功能码
大数据·elasticsearch·搜索引擎
Ashley_Amanda20 分钟前
SAP ABAP 开发全攻略:从核心编程到最佳实践
大数据·数据库·sql
彭思远20061 小时前
以 MapReduce 之力,解锁螺蛳粉销量数据的有序密码
大数据·mapreduce
黎相思1 小时前
附录:ChatSDK使用
大数据·elasticsearch·搜索引擎
geneculture1 小时前
融智学:重构认知与实践的智慧体系
大数据·人工智能·融智学的重要应用·信智序位·人类智力·融智时代(杂志)
泰迪智能科技1 小时前
分享|大数据人工智能实验室合作案例举例
大数据·人工智能·科技
熊文豪1 小时前
时序数据库选型指南:如何为大数据场景选择合适的时序数据库
大数据·数据库·时序数据库·iotdb
RPA机器人就选八爪鱼2 小时前
RPA批量采集抖音评论高效攻略:精准获取用户反馈与市场洞察
大数据·人工智能·机器人·rpa
Wang's Blog2 小时前
Kafka: Streams核心概念解析之KStream与KTable及实时WordCount实现
分布式·kafka