Flink checkpoint问题排查指南

之前只因为checkpoint过大碰到过checkpoint失败的情况,没想到数据倾斜也会导致

我们知道 task 仅在接受到所有的 barrier 之后才会进行 snapshot,如果作业存在反压,或者有数据倾斜,则会导致全部的 channel 或者某些 channel 的 barrier 发送慢,从而整体影响 Checkpoint 的时间,这两个可以通过如下的页面进行检查:

Apache Flink学习网

相关推荐
空杆推不起10 小时前
穿透 Flink CDC 表层用法:数据库日志捕获机制、Flink Source 运行时、端到端一致性底层原理详解
大数据·数据库·flink
tian_jiangnan3 天前
Flink 流计算进阶:手写一套通用的 Redis/MySQL /Kafka数据源封装工具类
redis·mysql·flink
abcy0712138 天前
flink datastream调用8种分区策略实例
flink
yqj2349 天前
Flink集群配置与部署全攻略
大数据·flink
abcy0712139 天前
spark核心组件
flink·spark
Apache Flink10 天前
全模态入湖,把大模型接入实时湖仓:Flink OSS CDC + DLF Paimon 实现零代码以图搜图
大数据·flink
翔云12345611 天前
Kafka + Flink实时时流处理场景
flink·kafka
abcy07121312 天前
flink state实例
大数据·算法·flink
Flink_China12 天前
抖音集团基于Paimon的流式数据湖应用实践
大数据·flink
abcy07121312 天前
flink 对齐与非对齐,窗口,状态state原理详解
大数据·flink