flink-yarn提交任务,application无限次appattempt

一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts

但是在yarn-site.xml里配置了却没生效哈哈

不生效的原因是因为flink提交application 时候fink会通过反射给yarn传过去,fink提供的这个参数默认值是10000也就是10s,这个参数意思是applicationMaster在设置的值范围内失败,会进行一次计数,像无限次重试是因为作业从启动am到失败时间超过10s了,所以就不会进行计数,那么appempt值一直是0,没超过预设的次数,所以就一直重试了

解决方案:在启动任务时显式设置interval覆盖flink默认值,在yarn-site.xml中配置没用

复制代码
-Dyarn.application-attempt-failures-validity-interval=-1
-Dyarn.resourcemanager.am.max-attempts=3
-Dyarn.application-attempts=3 
相关推荐
好家伙VCC37 分钟前
Delta Lake + Flink 实现近实时数据湖 Schema 演化
java·大数据·flink
lixia0417mul23 天前
flink接入spring体系
java·spring·flink
Volunteer Technology4 天前
Flink编程模型与API
大数据·flink
暴躁小师兄数据学院4 天前
【AI大数据工程师特训笔记】第16讲:大数据环境安装
大数据·hadoop·笔记·flink·spark·database
阿里云大数据AI技术5 天前
Skill即服务:用Agent安全玩转云上Flink
人工智能·flink
冷色调的咖啡师5 天前
4.大数据高可用
大数据·linux·hadoop·hdfs·zookeeper·yarn
冷色调的咖啡师5 天前
1.大数据架构技术 上——搭建分布式Hadoop集群
大数据·linux·hadoop·分布式·hdfs·架构·yarn
代码匠心5 天前
从零开始学Flink:Flink CDC 入门
大数据·数据仓库·flink
Volunteer Technology6 天前
Flink的 Side Output侧输出和 ProcessFunction
大数据·flink