Flink checkpoint问题排查指南

之前只因为checkpoint过大碰到过checkpoint失败的情况,没想到数据倾斜也会导致

我们知道 task 仅在接受到所有的 barrier 之后才会进行 snapshot,如果作业存在反压,或者有数据倾斜,则会导致全部的 channel 或者某些 channel 的 barrier 发送慢,从而整体影响 Checkpoint 的时间,这两个可以通过如下的页面进行检查:

Apache Flink学习网

相关推荐
青云交11 小时前
Java 大视界 -- 基于 Java 的大数据可视化在城市交通拥堵治理与出行效率提升中的应用(398)
java·大数据·flink·大数据可视化·拥堵预测·城市交通治理·实时热力图
还是大剑师兰特17 小时前
Flink面试题及详细答案100道(1-20)- 基础概念与架构
大数据·flink·大剑师·flink面试题
sleetdream20 小时前
Flink Sql 按分钟或日期统计数据量
sql·flink
阿Paul果奶ooo2 天前
Flink中基于时间的合流--双流联结(join)
大数据·flink
Direction_Wind2 天前
Flinksql bug: Heartbeat of TaskManager with id container_XXX timed out.
大数据·flink·bug
最初的↘那颗心2 天前
Java 泛型类型擦除
java·flink
最初的↘那颗心3 天前
Flink Stream API 源码走读 - socketTextStream
大数据·flink
都叫我大帅哥3 天前
Flink Slot 终极指南:从入门到避坑,幽默解析分布式计算的“工位经济学
java·大数据·flink
阿Paul果奶ooo4 天前
Flink概述
大数据·flink
sleetdream4 天前
Flink DataStream 按分钟或日期统计数据量
大数据·flink