flink中的重启策略

背景

在flink宣布作业失败的时候往往会进行重试,本文就来记录下flink中的几种重启策略

flink失败重启策略

1.固定延时重启 这种重启策略会重启固定的次数,每两次重启之间会间隔固定的时间间隔,如果失败次数达到了配置的次数限制,那么才宣布作业失败

2.故障率重启策略 这种重启策略会指定在某个时间间隔范围内,容许的最大重启次数限制,并且每两次重启之间也会间隔固定的时间间隔

3.不重启,这种策略是不开启checkpoint机制时的默认重启策略,也就是作业失败就失败了,不会重启

此外,重启也会根据重启的Task范围进行区分

1.Full重启策略,也就是重启时会把这个job的所有task都重启,这种策略是默认的重启策略,也是最简单的实现方式

2.Region重启策略,这种重启策略时只会把受故障影响的task对应的那些容器重启掉,比如只是某一条pineline下的task对应的容器重启,这种实现对于flink来说复杂一些

参考文献:https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/execution/task_failure_recovery/

相关推荐
沃达德软件11 分钟前
巡防勤务可视化管理
大数据·人工智能·数据挖掘·数据分析
永霖光电_UVLED16 分钟前
连续波 UV-B 激光二极管问世,实现全球首次
大数据·人工智能·uv
CHrisFC29 分钟前
江苏硕晟 LIMS 系统:加速环境检测机构合规化进程的利器
大数据·人工智能
智能相对论36 分钟前
Hilight开启公测:营销视频的“DeepSeek时刻”,来了
大数据·人工智能·音视频
计算机毕业编程指导师38 分钟前
【Python大数据选题】基于Hadoop+Spark奥运会金牌榜可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 数据挖掘
大数据·hadoop·python·计算机·spark·毕业设计·奥运会金牌
袋鼠云数栈39 分钟前
袋鼠云产品功能更新报告(第16期)|离线开发新进化:AI辅助与架构升级
大数据·人工智能·架构
TTBIGDATA1 小时前
【Hue】Hue 访问 Hadoop 权限问题出现 403 的解决办法
大数据·hadoop·分布式·ambari·hdp·hue·bigtop
【赫兹威客】浩哥1 小时前
【赫兹威客】伪分布式ZooKeeper测试教程
大数据·分布式·zookeeper
小北方城市网1 小时前
Elasticsearch 分布式检索生产级优化:从索引设计到查询性能
java·大数据·运维·redis·分布式·elasticsearch·搜索引擎
大志哥1231 小时前
使用logstash和elasticsearch实现日志链路(一)
大数据·elasticsearch·搜索引擎