Flink checkpoint问题排查指南

之前只因为checkpoint过大碰到过checkpoint失败的情况,没想到数据倾斜也会导致

我们知道 task 仅在接受到所有的 barrier 之后才会进行 snapshot,如果作业存在反压,或者有数据倾斜,则会导致全部的 channel 或者某些 channel 的 barrier 发送慢,从而整体影响 Checkpoint 的时间,这两个可以通过如下的页面进行检查:

Apache Flink学习网

相关推荐
wudl55666 小时前
flink 1.20 物化表(Materialized Tables)
大数据·flink·linq
ImproveJin20 小时前
Flink Source源码解析
大数据·flink
PONY LEE20 小时前
Flink Rebalance触发乱序的问题
大数据·flink
勇哥的编程江湖1 天前
本地搭建Flinkcdc-mysql-kafka-flink-Doris实时数据集成
大数据·flink
驾数者2 天前
Flink SQL入门指南:从零开始搭建流处理应用
大数据·sql·flink
KM_锰2 天前
flink开发遇到的问题
大数据·flink
Hello.Reader2 天前
Flink 流式计算的状态之道从 Table/SQL 语义到算子状态与 TTL 精准控制
sql·flink·linq
青云交2 天前
Java 大视界 -- 基于 Java 的大数据实时流处理在能源行业设备状态监测与故障预测中的应用
flink·lstm·设备状态监测·故障预测·实时流处理·java 大数据·能源行业
努力成为一个程序猿.2 天前
Flink集群部署以及作业提交模式详解
大数据·flink