Kafka分区数扩容 Flink未发现新分区

背景

Kafka分区数进行了扩容,但负责消费的Flink没有发现新的分区。

原因

Flink默认是不会动态发现新的分区的。

导致的问题

新kafka分区的数据没有被消费,导致堆积,严重的会导致数据丢失。

解决方案1

适用于低频扩容、缩容kafka分区的场景
重启Flink,让Flink重新从Kafka获取分区数

解决方案2

适用于经常扩容、缩容kafka分区的场景

通过设置参数flink.partition-discovery.interval-millis 大于0 ,来开启自动获取分区。

flink.partition-discovery.interval-millis表示每过多少毫秒,会自动发现分区。

注意

Flink会从新分区的EARLIEST位置开始消费 ,也就是最新位置开始消费,旧的数据不会再消费了。

如果需要动态发现topic,也是该参数控制的,不过仅限通过正则表达式指定topic的方式。

参考文章:

https://blog.csdn.net/zl18310999566/article/details/103736398

相关推荐
iPadiPhone2 小时前
分布式架构的“润滑剂”:RabbitMQ 核心原理与大厂面试避坑指南
分布式·后端·面试·架构·rabbitmq
递归尽头是星辰2 小时前
Flink 四大基石:核心原理与实战速查
大数据·人工智能·flink·实时计算
wanhengidc6 小时前
云手机与模拟器的关系
大数据·运维·服务器·分布式·智能手机
iPadiPhone8 小时前
万亿级流量的基石:Kafka 核心原理、大厂面试题解析与实战
分布式·后端·面试·kafka
运维老曾8 小时前
Flink 1.20 使用自带jdbc source 操作步骤
android·adb·flink
Fang fan8 小时前
Netty入门
java·开发语言·redis·分布式·python·哈希算法
低调的JVM10 小时前
Golang下kafka可观测数据采集组件Otelsarama详解
golang·kafka·可观测·opentelemetry
运维老曾12 小时前
Flink MySQL source 自定义开发步骤
大数据·mysql·flink
黑棠会长1 天前
ABP框架09.数据安全与合规:审计日志与实体变更追踪
分布式·安全·架构·c#·abp
珠海西格1 天前
四可装置如何监测组件衰减与逆变器效率?
大数据·运维·服务器·分布式·能源