flink-yarn提交任务,application无限次appattempt

一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts

但是在yarn-site.xml里配置了却没生效哈哈

不生效的原因是因为flink提交application 时候fink会通过反射给yarn传过去,fink提供的这个参数默认值是10000也就是10s,这个参数意思是applicationMaster在设置的值范围内失败,会进行一次计数,像无限次重试是因为作业从启动am到失败时间超过10s了,所以就不会进行计数,那么appempt值一直是0,没超过预设的次数,所以就一直重试了

解决方案:在启动任务时显式设置interval覆盖flink默认值,在yarn-site.xml中配置没用

复制代码
-Dyarn.application-attempt-failures-validity-interval=-1
-Dyarn.resourcemanager.am.max-attempts=3
-Dyarn.application-attempts=3 
相关推荐
Hello.Reader16 小时前
Flink 应用升级与版本迁移Savepoint、状态兼容、跨版本恢复一次讲透
大数据·chrome·flink
Msshu1232 天前
多协议快充取电芯片 支持与主板MCU共用D+D-网络可取电可与电脑传输数据
elasticsearch·sqlserver·flink·rabbitmq·storm
海南java第二人2 天前
Flink Web UI 完全指南:各菜单功能详解与实战应用
flink
zhangkaixuan4562 天前
Paimon 数据湖 + Gravitino 元数据中心:技术原理与实战指南
大数据·flink·paimon·gravitino·datalake
岁岁种桃花儿2 天前
Flink从入门到上天系列第十四篇:Flink当中的处理函数
大数据·flink
瓦中空花3 天前
大数据工具-Flink
大数据·flink
渣渣盟3 天前
Flink实现TopN URL访问量统计
大数据·flink·scala
添柴少年yyds3 天前
Flink的Checkpoint原理和流程
flink