Flink checkpoint问题排查指南

之前只因为checkpoint过大碰到过checkpoint失败的情况,没想到数据倾斜也会导致

我们知道 task 仅在接受到所有的 barrier 之后才会进行 snapshot,如果作业存在反压,或者有数据倾斜,则会导致全部的 channel 或者某些 channel 的 barrier 发送慢,从而整体影响 Checkpoint 的时间,这两个可以通过如下的页面进行检查:

Apache Flink学习网

相关推荐
斯普润布特17 小时前
StreamX(StreamPark 2.1.7) 更改人大金仓KES数据存储-Docker 版
docker·flink·iot
晴天彩虹雨18 小时前
大厂 Flink 面试 100 题
大数据·面试·flink
juniperhan19 小时前
Flink 系列第25篇:Flink SQL 集成 Hive 实践:流批一体下的实时数仓利器
大数据·数据仓库·hive·分布式·sql·flink
大大大大晴天19 小时前
为什么你的Flink SQL结果总不对?回撤流(Retract Stream)机制全解析
flink
斯普润布特19 小时前
Apache Flink 2.1.1与StreamX(StreamPark 2.1.7) 整合
flink·iot
Volunteer Technology2 天前
集群基础环境搭建(二)
大数据·flink·apache
zhojiew2 天前
使用Debezium读取CDC事件并通过Flink任务写入Paimon表来构建实时数据管道的实践
大数据·flink
岳麓丹枫0012 天前
PostgreSQL 15.7 CDC → Flink → Kafka 操作笔记
postgresql·flink·kafka
zhojiew2 天前
使用Flink分析用户Clickstream数据并构建可视化面板的数据管道实践
大数据·flink
howard20053 天前
5.1 初探大数据流式处理
flink·storm·spark streaming·大数据流式处理