Flink checkpoint问题排查指南

之前只因为checkpoint过大碰到过checkpoint失败的情况,没想到数据倾斜也会导致

我们知道 task 仅在接受到所有的 barrier 之后才会进行 snapshot,如果作业存在反压,或者有数据倾斜,则会导致全部的 channel 或者某些 channel 的 barrier 发送慢,从而整体影响 Checkpoint 的时间,这两个可以通过如下的页面进行检查:

Apache Flink学习网

相关推荐
本旺3 天前
Flink 2.x状态演进:理解解 1.x 与 2.x 状态存储机制
大数据·flink
Apache Flink3 天前
从结构化到多模态:Apache Flink,多模态数据处理的流式底座
大数据·flink·apache
婉然从物3 天前
Flink SQL 元数据持久化实战:从“每次重启表消失”到“Hive Metastore 永久存储”
hive·sql·flink
@SmartSi4 天前
新一代实时数据集成框架 Flink CDC 3.0 架构解析
flink·cdc
TTBIGDATA5 天前
【Ambari Plus】12.Flink 安装
hive·hadoop·flink·ambari·hdp·cdh·bigtop
xuruilll7 天前
数据中台开发 - (一)概述
大数据·数据库·数据仓库·flink
董可伦8 天前
Flink CDC2Kafka 总结
大数据·flink·cdc
大大大大晴天9 天前
Flink JDBC Connector 深度解析:从原理到最佳实践
flink
阿坤带你走近大数据10 天前
大数据中的各种场景数据倾斜的介绍
大数据·hadoop·flink·kafka
一条鱼丶10 天前
深入理解 Flink Watermark——流数据处理中的乱序问题解决方案
flink