flink1.15.0消费kafka 报错 The coordinator is not available.

报错

You should retry committing the latest consumed offsets.

Caused by: org.apache.kafka.common.errors.CoordinatorNotAvailableException: The coordinator is not available.

但是任务还在正常跑.

开源bug

[FLINK-28060] Kafka Commit on checkpointing fails repeatedly after a broker restart - ASF JIRA

导致的现象

任务还在跑 认识消费kafka的偏移量没有随着checkpoint提交到kafka broker. 会导致如果监控任务监控kafka broker存储的偏移量,那么就会任务你的任务一致没有消费.

解决

重启任务

升级到flink 1.16.x

相关推荐
麻芝汤圆1 小时前
在 IDEA 中写 Spark 程序:从入门到实践
java·大数据·hadoop·分布式·安全·spark·intellij-idea
LUCIAZZZ1 小时前
分布式链路追踪理论
java·分布式·中间件·操作系统·链路追踪
什么芮.4 小时前
Kafka和flume整合
spark·kafka·flume
群联云防护小杜9 小时前
云服务器主动防御策略与自动化防护(下)
运维·服务器·分布式·安全·自动化·音视频
TE-茶叶蛋10 小时前
秒杀压测计划 + Kafka 分区设计参考
分布式·kafka
青铜爱码士14 小时前
redis+lua+固定窗口实现分布式限流
redis·分布式·lua
小马爱打代码15 小时前
Kafka生产者架构深度剖析
架构·kafka
啊喜拔牙16 小时前
如何搭建spark yarn模式的集群
大数据·分布式·spark
听雨·眠16 小时前
关于kafka
分布式·kafka·消息队列
Paraverse_徐志斌16 小时前
Kafka 配置参数性能调优建议
性能优化·kafka·消息队列