flink-yarn提交任务,application无限次appattempt

一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts

但是在yarn-site.xml里配置了却没生效哈哈

不生效的原因是因为flink提交application 时候fink会通过反射给yarn传过去,fink提供的这个参数默认值是10000也就是10s,这个参数意思是applicationMaster在设置的值范围内失败,会进行一次计数,像无限次重试是因为作业从启动am到失败时间超过10s了,所以就不会进行计数,那么appempt值一直是0,没超过预设的次数,所以就一直重试了

解决方案:在启动任务时显式设置interval覆盖flink默认值,在yarn-site.xml中配置没用

复制代码
-Dyarn.application-attempt-failures-validity-interval=-1
-Dyarn.resourcemanager.am.max-attempts=3
-Dyarn.application-attempts=3 
相关推荐
用户3610588626124 小时前
从 chroot 到 LXC:四代容器隔离技术演进,Namespace 与 Cgroups 原理拆解
大数据·flink
Msshu1236 小时前
什么是PD快充诱骗取电芯片,PD快充取电芯片如何选型
flink·rabbitmq·ambari·mariadb·storm·talkingdata
用户3610588626122 天前
Flink高级之侧输出流Side Output原理及代码实现:从OutputTag到多流分发
大数据·flink
用户3610588626123 天前
Flink高级之富函数类深度剖析:执行时序、状态注册与序列化陷阱
大数据·flink
starzy19903 天前
Flink高级之Pattern API代码实现:序列语义、循环约束与匹配策略
大数据·flink
starzy19904 天前
Flink高级之CEP深度剖析:Pattern API、NFA引擎与风控实战
大数据·flink
用户3610588626124 天前
Flink高级之函数类深度剖析:生命周期、状态访问与定时器全解析
大数据·flink
starzy19904 天前
Flink TimeWindow 详解及代码实现:从三种时间语义到滚动与滑动窗口
java·服务器·flink
clz13145214 天前
风险特征平台架构设计与实现
java·flink
clz13145215 天前
风险特征系统 EPC 子系统:基于 Kafka 数据源与数据集配置的 Flink 指标清洗加工
分布式·flink·kafka