Flink checkpoint问题排查指南

之前只因为checkpoint过大碰到过checkpoint失败的情况,没想到数据倾斜也会导致

我们知道 task 仅在接受到所有的 barrier 之后才会进行 snapshot,如果作业存在反压,或者有数据倾斜,则会导致全部的 channel 或者某些 channel 的 barrier 发送慢,从而整体影响 Checkpoint 的时间,这两个可以通过如下的页面进行检查:

Apache Flink学习网

相关推荐
24k小善3 小时前
FlinkSql入门与实践
java·大数据·flink·云计算
晴天彩虹雨1 天前
Flink 数据清洗与字段标准化最佳实践
大数据·数据仓库·flink
24k小善1 天前
Flink TaskManager详解
java·大数据·flink·云计算
Flink_China1 天前
抖音集团电商流量实时数仓建设实践
大数据·flink
24k小善2 天前
FlinkUDF用户自定义函数深度剖析
java·大数据·spring·flink·云计算
Apache Flink2 天前
京东物流基于Flink & StarRocks的湖仓建设实践
java·大数据·flink
董可伦2 天前
Flink 源码编译
大数据·flink·源码
南客先生2 天前
海量聊天消息处理:ShardingJDBC分库分表、ClickHouse冷热数据分离、ES复合查询方案、Flink实时计算与SpringCloud集成
java·clickhouse·elasticsearch·flink·springcloud·shardingjdbc
背着黄油面包的猫2 天前
速通FlinkCDC3.0
数据库·mysql·flink