Kafka分区数扩容 Flink未发现新分区

背景

Kafka分区数进行了扩容,但负责消费的Flink没有发现新的分区。

原因

Flink默认是不会动态发现新的分区的。

导致的问题

新kafka分区的数据没有被消费,导致堆积,严重的会导致数据丢失。

解决方案1

适用于低频扩容、缩容kafka分区的场景
重启Flink,让Flink重新从Kafka获取分区数

解决方案2

适用于经常扩容、缩容kafka分区的场景

通过设置参数flink.partition-discovery.interval-millis 大于0 ,来开启自动获取分区。

flink.partition-discovery.interval-millis表示每过多少毫秒,会自动发现分区。

注意

Flink会从新分区的EARLIEST位置开始消费 ,也就是最新位置开始消费,旧的数据不会再消费了。

如果需要动态发现topic,也是该参数控制的,不过仅限通过正则表达式指定topic的方式。

参考文章:

https://blog.csdn.net/zl18310999566/article/details/103736398

相关推荐
caibixyy2 小时前
Spring Boot 集成 Kafka 详解
spring boot·kafka
求你不要出Bug了3 小时前
RokcetMQ事务消息详解
分布式·rocketmq·事务消息
❀͜͡傀儡师4 小时前
Docker部署Kafka Native
docker·容器·kafka
caibixyy4 小时前
Spring Boot整合Kafka:解决消息挤压、丢失与重复消费
kafka
Vahala0623-孔勇5 小时前
Redisson分布式锁源码深度解析:RedLock算法、看门狗机制,以及虚拟线程下的锁重入陷阱与解决
java·开发语言·分布式
疯癫的老码农7 小时前
【小白入门docker】创建Spring Boot Hello World应用制作Docker镜像并运行
java·spring boot·分布式·docker·微服务
没有bug.的程序员8 小时前
分布式架构初识:为什么需要分布式
java·分布式·架构·php
Vahala0623-孔勇8 小时前
分布式ID生成终极方案:从Snowflake的时钟回拨到Leaf-segment的ZK锁协调
分布式
Lansonli11 小时前
大数据Spark(六十四):Spark算子介绍
大数据·分布式·spark
居7然12 小时前
JoyAgent-JDGenie深度评测:从开箱到实战,多智能体框架的工业级答卷
分布式·自然语言处理·架构·transformer·agent