flink中的重启策略

背景

在flink宣布作业失败的时候往往会进行重试,本文就来记录下flink中的几种重启策略

flink失败重启策略

1.固定延时重启 这种重启策略会重启固定的次数,每两次重启之间会间隔固定的时间间隔,如果失败次数达到了配置的次数限制,那么才宣布作业失败

2.故障率重启策略 这种重启策略会指定在某个时间间隔范围内,容许的最大重启次数限制,并且每两次重启之间也会间隔固定的时间间隔

3.不重启,这种策略是不开启checkpoint机制时的默认重启策略,也就是作业失败就失败了,不会重启

此外,重启也会根据重启的Task范围进行区分

1.Full重启策略,也就是重启时会把这个job的所有task都重启,这种策略是默认的重启策略,也是最简单的实现方式

2.Region重启策略,这种重启策略时只会把受故障影响的task对应的那些容器重启掉,比如只是某一条pineline下的task对应的容器重启,这种实现对于flink来说复杂一些

参考文献:https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/dev/execution/task_failure_recovery/

相关推荐
Leo.yuan35 分钟前
财务团队从“做表“到“分析“,缺的不是工具,是一套财经数智化体系
大数据
云表无代码开发1 小时前
日本开发者彻底破防:中文太强了!换成英文直接裂开
大数据·服务器·人工智能·microsoft·信息可视化
皮皮学姐分享-ppx1 小时前
地级市、省级人才政策强度测算(2000-2025)
大数据·数据库·人工智能·百度·高考
大大大大晴天2 小时前
面向湖仓一体的大数据安全治理:识别、授权、脱敏与审计
大数据
NailiConveyor2 小时前
输送机系统与WMS仓储管理系统集成的5个关键技术点
大数据·运维·自动化·制造·业界资讯
HZZD_HZZD2 小时前
碳排放核算只报一个数,审计凭什么信你?合众致达蒙特卡洛不确定性量化实测:25.2万度园区月账95%置信区间收窄至±2.4%
大数据·物联网
一只专注api接口开发的技术猿2 小时前
告别手工复制粘贴:搭建电商商品自动化监控与数据分析实践
大数据·运维·数据挖掘·数据分析·自动化
wtblszn2 小时前
光伏发电与光热发电有什么区别
大数据·运维·物联网
weixin_177297220693 小时前
成立三年估值80亿美元:法律AI公司Harvey给中国企业的四个启发
大数据·人工智能
ha_lydms3 小时前
MaxCompute中窗口函数
大数据·hadoop·阿里云·云计算·dataworks·maxcompute·odps