flink1.15.0消费kafka 报错 The coordinator is not available.

报错

You should retry committing the latest consumed offsets.

Caused by: org.apache.kafka.common.errors.CoordinatorNotAvailableException: The coordinator is not available.

但是任务还在正常跑.

开源bug

FLINK-28060 Kafka Commit on checkpointing fails repeatedly after a broker restart - ASF JIRA

导致的现象

任务还在跑 认识消费kafka的偏移量没有随着checkpoint提交到kafka broker. 会导致如果监控任务监控kafka broker存储的偏移量,那么就会任务你的任务一致没有消费.

解决

重启任务

升级到flink 1.16.x

相关推荐
bksczm2 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh3 小时前
RabbitMQ安装
分布式·rabbitmq
用户3610588626123 小时前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
AI源码11 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
goehou1 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯1 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence1 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626122 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi2 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding2 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin