Flink 失败重试策略 :restart-strategy.type

在 Apache Flink 中,restart-strategy.type 用于指定作业的重启策略(Restart Strategy),它决定了作业在失败后如何恢复。

Flink 提供了 4 种内置重启策略 ,可以通过 flink-conf.yaml 或代码动态配置。


1. 可配置的 restart-strategy.type

策略类型 配置值 (restart-strategy.type) 说明
固定延迟重启 fixed-delay 每次失败后固定延迟一段时间重启。
失败阈值重启 failure-rate 在时间窗口内允许一定次数的失败,超过则放弃。
指数延迟重启 exponential-delay 每次失败后延迟时间指数增长(适合短时故障)。
不重启(直接失败) disable, off, none 作业失败后直接终止,不尝试恢复(默认策略)。

2. 详细配置方式

yaml 复制代码
# 固定延迟重启
restart-strategy.type: fixed-delay
restart-strategy.fixed-delay.attempts: 3       # 最大尝试次数
restart-strategy.fixed-delay.delay: 10 s       # 每次重启的延迟时间

# 失败率重启
restart-strategy.type: failure-rate
restart-strategy.failure-rate.max-failures-per-interval: 3  # 时间窗口内允许的失败次数
restart-strategy.failure-rate.failure-rate-interval: 5 min  # 时间窗口长度
restart-strategy.failure-rate.delay: 10 s      # 每次重启的延迟时间

# 指数延迟重启
restart-strategy.type: exponential-delay
restart-strategy.exponential-delay.initial-backoff: 1 s     # 初始延迟
restart-strategy.exponential-delay.max-backoff: 1 min       # 最大延迟
restart-strategy.exponential-delay.backoff-multiplier: 2.0  # 延迟倍数(指数增长)
restart-strategy.exponential-delay.reset-backoff-threshold: 5 min  # 重置延迟的时间窗口
restart-strategy.exponential-delay.jitter-factor: 0.1       # 随机抖动因子(避免集群同时重启)

# 不重启(直接失败) (默认策略)
restart-strategy.type: none

2.2 通过代码动态配置

java 复制代码
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 固定延迟重启
env.setRestartStrategy(
    RestartStrategies.fixedDelayRestart(
        3,      // 最大尝试次数
        Time.seconds(10)  // 延迟时间
    )
);

// 失败率重启
env.setRestartStrategy(
    RestartStrategies.failureRateRestart(
        3,              // 时间窗口内允许的失败次数
        Time.minutes(5), // 时间窗口长度
        Time.seconds(10) // 延迟时间
    )
);

// 指数延迟重启
env.setRestartStrategy(
    RestartStrategies.exponentialDelayRestart(
        Time.seconds(1),  // 初始延迟
        Time.minutes(1),  // 最大延迟
        2.0,             // 延迟倍数
        Time.minutes(5),  // 重置延迟的时间窗口
        0.1              // 随机抖动因子
    )
);

// 不重启
env.setRestartStrategy(RestartStrategies.noRestart());

3. 各策略的适用场景

策略 适用场景
fixed-delay 通用场景,适合大多数作业(如短暂网络故障)。
failure-rate 需要严格限制失败次数的场景(如依赖外部服务不可用时快速放弃)。
exponential-delay 短时故障频发时避免雪崩效应(如 Kafka 短暂不可用)。
none 测试环境或无需自动恢复的作业(如一次性批处理任务)。

参考官方文档:

https://nightlies.apache.org/flink/flink-docs-release-1.20/docs/deployment/config/#restart-strategy-type

相关推荐
不动明王198412 小时前
能力联邦:Presto 的一种可能演进方向
大数据·iceberg·presto·湖仓·lance·联邦查询引擎
Jelena1577958579212 小时前
电商运营分析数据比价接口实战:多平台价格监控与智能决策系统
java·大数据·数据库
AC赳赳老秦15 小时前
企业工商公开信息采集分析:OpenClaw 批量查询企业工商信息,生成企业画像报告
大数据·开发语言·python·自动化·php·deepseek·openclaw
BerryS3N15 小时前
Code Git 工作树:多分支开发的痛点与工作树的曙光
大数据·git·elasticsearch
小K漫剧创作笔记18 小时前
AI短剧出海从「选修课」变「必修课」:合规分发正在成为内容全球化的真正门槛
大数据·人工智能·ai·aigc·漫剧
samLi062019 小时前
【数据集】中国“千兆城市”关键指标数据(2021-2023年)
大数据
城数派19 小时前
1991-2100年中国1km分辨率逐月气候指标栅格数据集(28个气象指标)
大数据
AC赳赳老秦19 小时前
司法公开数据采集应用:OpenClaw 抓取裁判文书公开信息,批量整理同类参考案例
java·大数据·python·数据挖掘·数据分析·php·openclaw
yurenshi166821 小时前
自媒体多账号管理工具 4 款实测:聚媒通 / 融媒宝 / 新榜小豆芽 / 矩阵通横向对比,快速选型
大数据·矩阵·媒体
nVisual1 天前
机柜PDU安装位置与空间建模方案
大数据·网络·数据库·信息可视化·数据中心基础设施管理