Flink checkpoint问题排查指南

之前只因为checkpoint过大碰到过checkpoint失败的情况,没想到数据倾斜也会导致

我们知道 task 仅在接受到所有的 barrier 之后才会进行 snapshot,如果作业存在反压,或者有数据倾斜,则会导致全部的 channel 或者某些 channel 的 barrier 发送慢,从而整体影响 Checkpoint 的时间,这两个可以通过如下的页面进行检查:

Apache Flink学习网

相关推荐
智码看视界15 小时前
Spark 3.5 AQE 调优:10 个生产环境案例让作业提速 3-10 倍
大数据·spark·性能调优·aqe·sparksql·数据倾斜·etl优化
楠楠子呀2 天前
从零构建高性能 WhatsApp 链接生成器与重定向服务:架构与路由解析
redis·python·容器·架构·flink·散列表·flume
头茬韭菜2 天前
功能点 9:Flink Connector
大数据·flink·fluss
Faith_xzc2 天前
一条 SQL 顶一条 Flink 链路?Doris Streaming Job 持续导入全景解析
大数据·数据库·sql·flink
何升曜5 天前
Flink Slot 分配机制深度解析:从申请到部署的完整链路
flink
我变秃了也没变强6 天前
standalone模式部署flink集群
flink·apache
渣渣盟6 天前
Flink 流式写入文件终极指南:从 Row Format 到 Bucket 分区的深度剖析
大数据·flink
CIO_Alliance6 天前
AI算法系列(3)| 实时数据管道:CDC+Flink实现库存异动秒级响应
大数据·人工智能·flink
渣渣盟7 天前
Flink 写入 Redis 实战:数据模型选型、连接池调优与常见坑
大数据·redis·flink
渣渣盟8 天前
Flink + Kafka 数据写入实战:从API调用到端到端一致性精讲
flink·kafka·linq