如何处理 Flink 作业频繁重启问题?

分析&回答

Flink 实现了多种重启策略

  1. 固定延迟重启策略(Fixed Delay Restart Strategy)
  2. 故障率重启策略(Failure Rate Restart Strategy)
  3. 没有重启策略(No Restart Strategy)
  4. Fallback重启策略(Fallback Restart Strategy)

反思&扩展

  • Flink支持不同的重启策略,以在故障发生时控制作业如何重启
  • 默认的重启策略:如果没有启用 checkpointing,则使用无重启 (no restart) 策略。如果启用了 checkpointing,但没有配置重启策略,则使用固定间隔 (fixed-delay) 策略
  • 如果在工作提交时指定了一个重启策略,该策略会覆盖集群的默认策略默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。配置参数 restart-strategy 定义了哪个策略被使用。
  • 常用的重启:
    1. 策略固定间隔 (Fixed delay)
    2. 失败率 (Failure rate)
    3. 无重启 (No restart)
  • 重启策略可以在flink-conf.yaml中配置,表示全局的配置。也可以在应用代码中动态指定,会覆盖全局配置

喵呜面试助手:一站式解决面试问题,你可以搜索微信小程序 [喵呜面试助手] 或关注 [喵呜刷题] -> 面试助手 免费刷题。如有好的面试知识或技巧期待您的共享!

相关推荐
河南博为智能科技有限公司6 分钟前
单串口服务器-工业级串口联网解决方案
运维·服务器·物联网·边缘计算
Rum_0M14 分钟前
服务器内部信息获取
运维·服务器·web安全·网络安全·信息安全·职业技能大赛
Wy_编程18 分钟前
高并发服务器-多路IO转接-select
服务器·select·高并发
口嗨农民工1 小时前
linux 时间相关的命令
linux·运维·服务器
阿加犀智能1 小时前
使用Langchain生成本地rag知识库并搭载大模型
服务器·python·langchain
楠枬1 小时前
DNS 域名解析
服务器·网络·网络协议
XMZH030421 小时前
网络编程;TCP多进程并发服务器;TCP多线程并发服务器;TCP网络聊天室和UDP网络聊天室;后面两个还没写出来;0911
服务器·网络·tcp/ip·udp·tcp
evo-master1 小时前
网络编程-HTTP
linux·网络
轻松Ai享生活2 小时前
一文搞懂应用程序 core dump 和内核 core dump
linux
云飞云共享云桌面2 小时前
1台电脑10个画图设计用怎么实现
linux·运维·服务器·网络·数据库·自动化·电脑