flink中的重启策略

背景

在flink宣布作业失败的时候往往会进行重试,本文就来记录下flink中的几种重启策略

flink失败重启策略

1.固定延时重启 这种重启策略会重启固定的次数,每两次重启之间会间隔固定的时间间隔,如果失败次数达到了配置的次数限制,那么才宣布作业失败

2.故障率重启策略 这种重启策略会指定在某个时间间隔范围内,容许的最大重启次数限制,并且每两次重启之间也会间隔固定的时间间隔

3.不重启,这种策略是不开启checkpoint机制时的默认重启策略,也就是作业失败就失败了,不会重启

此外,重启也会根据重启的Task范围进行区分

1.Full重启策略,也就是重启时会把这个job的所有task都重启,这种策略是默认的重启策略,也是最简单的实现方式

2.Region重启策略,这种重启策略时只会把受故障影响的task对应的那些容器重启掉,比如只是某一条pineline下的task对应的容器重启,这种实现对于flink来说复杂一些

参考文献:https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/execution/task_failure_recovery/

相关推荐
小刘鸭!3 小时前
Flink中并行度和slot的关系——任务和任务槽
大数据·flink
LI JS@你猜啊4 小时前
Elasticsearch 集群
大数据·服务器·elasticsearch
筒栗子4 小时前
复习打卡大数据篇——Hadoop HDFS 03
大数据·hadoop·hdfs
SelectDB7 小时前
Apache Doris 创始人:何为“现代化”的数据仓库?
大数据·数据库·云原生
SelectDB7 小时前
飞轮科技荣获中国电信星海大数据最佳合作伙伴奖!
大数据·数据库·数据分析
core5128 小时前
flink cdc各种数据库 jar下载地址
mysql·oracle·flink·jar·oceanbase·cdc
小刘鸭!8 小时前
Hbase的特点、特性
大数据·数据库·hbase
Elastic 中国社区官方博客8 小时前
如何通过 Kafka 将数据导入 Elasticsearch
大数据·数据库·分布式·elasticsearch·搜索引擎·kafka·全文检索
nece0018 小时前
elasticsearch 杂记
大数据·elasticsearch·搜索引擎
开心最重要(*^▽^*)8 小时前
Es搭建——单节点——Linux
大数据·elasticsearch