flink-yarn提交任务,application无限次appattempt

一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts

但是在yarn-site.xml里配置了却没生效哈哈

不生效的原因是因为flink提交application 时候fink会通过反射给yarn传过去,fink提供的这个参数默认值是10000也就是10s,这个参数意思是applicationMaster在设置的值范围内失败,会进行一次计数,像无限次重试是因为作业从启动am到失败时间超过10s了,所以就不会进行计数,那么appempt值一直是0,没超过预设的次数,所以就一直重试了

解决方案:在启动任务时显式设置interval覆盖flink默认值,在yarn-site.xml中配置没用

复制代码
-Dyarn.application-attempt-failures-validity-interval=-1
-Dyarn.resourcemanager.am.max-attempts=3
-Dyarn.application-attempts=3 
相关推荐
大大大大晴天️17 小时前
Flink技术实践-Flink指标监控全景指南
大数据·flink
csgo打的菜又爱玩19 小时前
7.DispatcherResourceManagerComponentFactory解析.md
开发语言·python·flink
juniperhan21 小时前
Flink 系列第14篇:Flink Metrics 监控指标详解(生产环境版)
大数据·数据仓库·分布式·flink
努力成为一个程序猿.2 天前
Flink运行时架构
大数据·架构·flink
juniperhan2 天前
Flink 系列第13篇:Flink 生产环境中的并行度与资源配置
java·大数据·数据仓库·分布式·flink
渣渣盟2 天前
Flink事件时间与窗口操作实战指南
大数据·flink·scala
juniperhan3 天前
Flink 系列第12篇:Flink 维表关联详解
大数据·数据仓库·分布式·flink
isNotNullX3 天前
2026年国产数据同步工具对比评测:DataX、Canal、Flink CDC与FineDataLink深度横评
大数据·flink
在秃头的路上啊3 天前
数据库下Lambda 架构(spark+flink)
架构·flink·spark
csgo打的菜又爱玩3 天前
6.MetricService 启动流程解析
大数据·flink