flink-yarn提交任务,application无限次appattempt

一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts

但是在yarn-site.xml里配置了却没生效哈哈

不生效的原因是因为flink提交application 时候fink会通过反射给yarn传过去,fink提供的这个参数默认值是10000也就是10s,这个参数意思是applicationMaster在设置的值范围内失败,会进行一次计数,像无限次重试是因为作业从启动am到失败时间超过10s了,所以就不会进行计数,那么appempt值一直是0,没超过预设的次数,所以就一直重试了

解决方案:在启动任务时显式设置interval覆盖flink默认值,在yarn-site.xml中配置没用

复制代码
-Dyarn.application-attempt-failures-validity-interval=-1
-Dyarn.resourcemanager.am.max-attempts=3
-Dyarn.application-attempts=3 
相关推荐
starzy199015 小时前
Flink ResourceManager启动流程源码深度剖析:从ClusterEntrypoint到Slot分配的完整链路
java·大数据·flink
starzy19902 天前
Flink ApplicationMaster启动流程源码深度剖析:从YARN提交到JobMaster启动的完整链路
大数据·flink
用户3610588626122 天前
Flink Sliding Window 详解及代码实现:从窗口重叠到状态爆炸防控
大数据·flink
starzy19904 天前
Flink 提交任务源码深度剖析:从CliFrontend到JobMaster的完整提交链路
大数据·flink
starzy19905 天前
Flink Rpc通信源码级详解:从RpcService到动态代理的完整调用链路
大数据·rpc·flink
starzy19905 天前
Flink Akka底层原理深度剖析:从ActorSystem到Dispatcher调度器的底层实现
大数据·flink
nvd116 天前
# 从 192 秒到 13 秒:Apache Flink 批处理极速调优实战记录
大数据·flink·apache
starzy19906 天前
Flink 优化之网络缓存优化及参数详解:从数据传输机制到反压原理的生产调优指南
网络·缓存·flink
智码看视界8 天前
Edge AI 全栈实战 ④:向量数据库 + RAG 让 IoT 诊断拥有“记忆“
flink·向量数据库·rag·全栈开发·edgeai·iot诊断
starzy19909 天前
Flink 优化之 CheckPoint 优化及参数详解:从原理到生产环境调优的完整指南
大数据·flink