Kafka分区数扩容 Flink未发现新分区

背景

Kafka分区数进行了扩容,但负责消费的Flink没有发现新的分区。

原因

Flink默认是不会动态发现新的分区的。

导致的问题

新kafka分区的数据没有被消费,导致堆积,严重的会导致数据丢失。

解决方案1

适用于低频扩容、缩容kafka分区的场景
重启Flink,让Flink重新从Kafka获取分区数

解决方案2

适用于经常扩容、缩容kafka分区的场景

通过设置参数flink.partition-discovery.interval-millis 大于0 ,来开启自动获取分区。

flink.partition-discovery.interval-millis表示每过多少毫秒,会自动发现分区。

注意

Flink会从新分区的EARLIEST位置开始消费 ,也就是最新位置开始消费,旧的数据不会再消费了。

如果需要动态发现topic,也是该参数控制的,不过仅限通过正则表达式指定topic的方式。

参考文章:

https://blog.csdn.net/zl18310999566/article/details/103736398

相关推荐
写代码的【黑咖啡】13 小时前
如何在大数据数仓中搭建数据集市
大数据·分布式·spark
Jackeyzhe15 小时前
Flink学习笔记:反压
flink
SoleMotive.15 小时前
kafka选型
分布式·kafka
小二·17 小时前
MyBatis基础入门《十五》分布式事务实战:Seata + MyBatis 实现跨服务数据一致性
分布式·wpf·mybatis
凯新生物17 小时前
mPEG-SS-PLGA-DTX:智能药物递送系统
eureka·flink·ffmpeg·etcd
feathered-feathered19 小时前
Redis基础知识+RDB+AOF(面试)
java·数据库·redis·分布式·后端·中间件·面试
lang2015092819 小时前
深入解析Kafka Broker核心读写机制
分布式·kafka
lang2015092819 小时前
Kafka高水位与日志末端偏移量解析
分布式·kafka
Tadas-Gao20 小时前
GraphQL:下一代API架构的设计哲学与实践创新
java·分布式·后端·微服务·架构·graphql
lang2015092820 小时前
Kafka副本管理核心:ReplicaManager揭秘
分布式·kafka·linq