flink-yarn提交任务,application无限次appattempt

一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts

但是在yarn-site.xml里配置了却没生效哈哈

不生效的原因是因为flink提交application 时候fink会通过反射给yarn传过去,fink提供的这个参数默认值是10000也就是10s,这个参数意思是applicationMaster在设置的值范围内失败,会进行一次计数,像无限次重试是因为作业从启动am到失败时间超过10s了,所以就不会进行计数,那么appempt值一直是0,没超过预设的次数,所以就一直重试了

解决方案:在启动任务时显式设置interval覆盖flink默认值,在yarn-site.xml中配置没用

复制代码
-Dyarn.application-attempt-failures-validity-interval=-1
-Dyarn.resourcemanager.am.max-attempts=3
-Dyarn.application-attempts=3 
相关推荐
代码匠心15 小时前
从零开始学Flink:TopN 榜单
大数据·后端·flink·flink sql·大数据处理
黎陌MLing1 天前
Flink on Kubernetes部署详细教程
大数据·flink·kubernetes
piepis1 天前
Flink 状态后端核心原理
大数据·flink
piepis1 天前
Flink一致性实现原理
大数据·flink
D愿你归来仍是少年1 天前
Apache Flink 学习笔记 · Phase 1
大数据·flink·apache
运维老曾2 天前
Flink 自定义数据源开发流程
大数据·flink
大大大大晴天️2 天前
Flink-Hudi技术实践:Upsert场景开发实践
大数据·flink·hudi
Apache Flink2 天前
Apache Flink Agents 0.2.1 发布公告
大数据·flink·apache
万琛2 天前
【Flink_CEP】MySQL 动态规则 + Kafka 实时流 + Flink CEP 后缀收集的实战方案
mysql·flink·kafka