如何处理 Flink 作业频繁重启问题?

分析&回答

Flink 实现了多种重启策略

  1. 固定延迟重启策略(Fixed Delay Restart Strategy)
  2. 故障率重启策略(Failure Rate Restart Strategy)
  3. 没有重启策略(No Restart Strategy)
  4. Fallback重启策略(Fallback Restart Strategy)

反思&扩展

  • Flink支持不同的重启策略,以在故障发生时控制作业如何重启
  • 默认的重启策略:如果没有启用 checkpointing,则使用无重启 (no restart) 策略。如果启用了 checkpointing,但没有配置重启策略,则使用固定间隔 (fixed-delay) 策略
  • 如果在工作提交时指定了一个重启策略,该策略会覆盖集群的默认策略默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。配置参数 restart-strategy 定义了哪个策略被使用。
  • 常用的重启:
    1. 策略固定间隔 (Fixed delay)
    2. 失败率 (Failure rate)
    3. 无重启 (No restart)
  • 重启策略可以在flink-conf.yaml中配置,表示全局的配置。也可以在应用代码中动态指定,会覆盖全局配置

喵呜面试助手:一站式解决面试问题,你可以搜索微信小程序 喵呜面试助手 或关注 喵呜刷题 -> 面试助手 免费刷题。如有好的面试知识或技巧期待您的共享!

相关推荐
PC2005-cloud2 小时前
博文已索引但不展示:一次 Bing SEO 问题排查记录
服务器·人工智能
沸速存储2 小时前
整机瓶颈判断思路,自上而下定位卡顿根源
运维·服务器·电脑·内容运营
乌萨奇也要立志学C++3 小时前
【Linux】网络基础 从零理解网络通信:局域网、跨网传输与 Socket 预备知识
linux·服务器·网络
RisunJan5 小时前
Linux命令-slabtop(实时显示内核 slab 缓存信息)
linux
2601_965798477 小时前
Is Hygia Good for Maid & Janitorial Sites? Technical Audit
服务器·网络·数据库
蚰蜒螟7 小时前
从内核源码看Linux启动:chroot、execve与MS_MOVE的协奏曲
linux·服务器·网络
酷可达拉斯7 小时前
自动化运维-ansible配置文件与主机清单
linux·运维·自动化·ansible
影视飓风TIM8 小时前
Linux下C语言缓冲区原理 + Git版本控制
linux·c语言·git
来者皆善8 小时前
ZYNQ linux上使用 USB CDC ACM
linux·运维·服务器
缓慢更新9 小时前
企业档案管理系统迁移实录:从文件服务器到智能检索引擎
运维·服务器