flink中的重启策略

背景

在flink宣布作业失败的时候往往会进行重试,本文就来记录下flink中的几种重启策略

flink失败重启策略

1.固定延时重启 这种重启策略会重启固定的次数,每两次重启之间会间隔固定的时间间隔,如果失败次数达到了配置的次数限制,那么才宣布作业失败

2.故障率重启策略 这种重启策略会指定在某个时间间隔范围内,容许的最大重启次数限制,并且每两次重启之间也会间隔固定的时间间隔

3.不重启,这种策略是不开启checkpoint机制时的默认重启策略,也就是作业失败就失败了,不会重启

此外,重启也会根据重启的Task范围进行区分

1.Full重启策略,也就是重启时会把这个job的所有task都重启,这种策略是默认的重启策略,也是最简单的实现方式

2.Region重启策略,这种重启策略时只会把受故障影响的task对应的那些容器重启掉,比如只是某一条pineline下的task对应的容器重启,这种实现对于flink来说复杂一些

参考文献:https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/execution/task_failure_recovery/

相关推荐
H03111698521 分钟前
移动应用数据分析平台信息整理:月狐数据、七麦数据、蝉大师
大数据·人工智能
小宋102124 分钟前
Jev 不是另一个聊天模型:Choice、Score、Boolean 与概率决策完整实战
大数据·人工智能
数字化顾问43 分钟前
(136页PPT)BCGIDG资本中国某省市场Geneva项目商业尽职调查项目报告(附下载方式)
大数据·人工智能
故七月1 小时前
GEO 工程实践:企业官网结构化改造,提升大模型实体采信度
大数据·人工智能·geo
MiYi124061 小时前
2026 企业 AI 办公工具选型指南:从需求分析到任务交付的完整评估框架
大数据·人工智能
IT研究室2 小时前
最新大数据毕业设计选题推荐-基于大数据的全球地震数据分析与可视化-大数据-Spark-Hadoop-Bigdata
大数据·信息可视化·数据分析·spark·课程设计
data analyse 4562 小时前
数据合规的第三方SDK清单怎么管理?
大数据·人工智能
YangYang9YangYan2 小时前
2027 届秋招岗位对比|大数据本科,产品运营 vs 数字化管培投递策略
大数据·产品运营
卷毛迷你猪2 小时前
快速实验篇(B04) 热门品类 Top10 与加权排名
大数据·hive·hadoop
Omics Pro2 小时前
预测性虚拟细胞中显式机理算子
大数据·数据库·人工智能·python·算法·机器学习·自然语言处理