Flink checkpoint问题排查指南

之前只因为checkpoint过大碰到过checkpoint失败的情况,没想到数据倾斜也会导致

我们知道 task 仅在接受到所有的 barrier 之后才会进行 snapshot,如果作业存在反压,或者有数据倾斜,则会导致全部的 channel 或者某些 channel 的 barrier 发送慢,从而整体影响 Checkpoint 的时间,这两个可以通过如下的页面进行检查:

Apache Flink学习网

相关推荐
北漂老男孩2 小时前
Flink Table API 编程入门实践
大数据·flink·学习方法
weixin_307779139 小时前
Apache SeaTunnel 引擎深度解析:原理、技术与高效实践
大数据·flink·spark·数据库开发·etl
Microsoft Word19 小时前
Flink
大数据·flink
lifallen1 天前
Apache Paimon:存储结构、写入及其源码分析
java·大数据·数据仓库·sql·flink·database
Apache Flink2 天前
基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路
大数据·flink·linq
北漂老男孩2 天前
Flink CEP实践总结:使用方法、常见报错、优化与难点应对
大数据·flink·学习方法
linweidong3 天前
《Spark/Flink/Doris离线&实时数仓开发》目录
大数据·flink·spark·实时数仓·调度器·离线数仓·数据面试
Kookoos3 天前
ABP VNext + Apache Flink 实时流计算:打造高可用“交易风控”系统
大数据·flink·.net·apache·abp vnext
北漂老男孩5 天前
Flink 常用算子详解与最佳实践
大数据·flink·学习方法
涤生大数据6 天前
Kafka Streams 和 Apache Flink 的无状态流处理与有状态流处理
flink·kafka·apache·实时