Flink checkpoint问题排查指南

之前只因为checkpoint过大碰到过checkpoint失败的情况,没想到数据倾斜也会导致

我们知道 task 仅在接受到所有的 barrier 之后才会进行 snapshot,如果作业存在反压,或者有数据倾斜,则会导致全部的 channel 或者某些 channel 的 barrier 发送慢,从而整体影响 Checkpoint 的时间,这两个可以通过如下的页面进行检查:

Apache Flink学习网

相关推荐
Justice Young10 小时前
Flink第六章:flink中的时间和窗口
大数据·flink
Volunteer Technology19 小时前
Flink状态管理与容错(一)
大数据·数据库·flink
Volunteer Technology20 小时前
Flink 时间、窗口及操作(一)
大数据·flink
Volunteer Technology1 天前
Flink 时间、窗口及操作(三)
大数据·flink
Volunteer Technology1 天前
Flink 时间、窗口及操作(二)
java·python·flink
Volunteer Technology1 天前
Flink状态管理与容错(二)
大数据·flink·wpf
开开心心就好3 天前
解决截图被拦截黑屏问题的免费小工具
安全·智能手机·flink·kafka·pdf·音视频·1024程序员节
暴躁小师兄数据学院4 天前
【AI大数据工程师特训笔记】第15讲:大数据环境安装
大数据·hadoop·flink·spark
抛砖者4 天前
flink打包方式问题
大数据·flink
大大大大晴天️4 天前
Flink Resource Providers 深度解析:机制原理、部署模式与最佳实践
大数据·flink