flink-yarn提交任务,application无限次appattempt

一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts

但是在yarn-site.xml里配置了却没生效哈哈

不生效的原因是因为flink提交application 时候fink会通过反射给yarn传过去,fink提供的这个参数默认值是10000也就是10s,这个参数意思是applicationMaster在设置的值范围内失败,会进行一次计数,像无限次重试是因为作业从启动am到失败时间超过10s了,所以就不会进行计数,那么appempt值一直是0,没超过预设的次数,所以就一直重试了

解决方案:在启动任务时显式设置interval覆盖flink默认值,在yarn-site.xml中配置没用

复制代码
-Dyarn.application-attempt-failures-validity-interval=-1
-Dyarn.resourcemanager.am.max-attempts=3
-Dyarn.application-attempts=3 
相关推荐
大大大大晴天️20 小时前
Flink作业资源策略选择:大资源小并行度 vs 小资源大并行度
flink
大大大大晴天20 小时前
Flink作业资源策略选择:大资源小并行度 vs 小资源大并行度
flink
WL_Aurora1 天前
YARN资源调度器深度解析 | 架构原理、作业提交流程
大数据·hadoop·yarn
得物技术2 天前
BP Claw 破解 AI 编码输入难题 ——FlinkSpec 需求智能化实践|得物技术
mysql·flink·ai编程
boonya2 天前
Flink 实战:从零搭建大数据开发环境到用户行为分析
大数据·flink
vivo互联网技术2 天前
vivo 万台规模 YARN 集群升级实践
大数据·hadoop·yarn
livemetee2 天前
Spring Cloud Stream与Flink集成实战
spring cloud·flink
大大大大晴天️3 天前
Flink:Keyed State vs Operator State 原理与实践
大数据·flink
大大大大晴天3 天前
Flink:Keyed State vs Operator State 原理与实践
flink
boonya3 天前
大数据其他组件怎么跟flink进行交互与落地?
大数据·flink