flink-yarn提交任务,application无限次appattempt

一般大家都推荐配置yarn.resourcemanager.am.max-attempts、yarn.application-attempt-failures-validity-interval和yarn.application-attempts

但是在yarn-site.xml里配置了却没生效哈哈

不生效的原因是因为flink提交application 时候fink会通过反射给yarn传过去,fink提供的这个参数默认值是10000也就是10s,这个参数意思是applicationMaster在设置的值范围内失败,会进行一次计数,像无限次重试是因为作业从启动am到失败时间超过10s了,所以就不会进行计数,那么appempt值一直是0,没超过预设的次数,所以就一直重试了

解决方案:在启动任务时显式设置interval覆盖flink默认值,在yarn-site.xml中配置没用

复制代码
-Dyarn.application-attempt-failures-validity-interval=-1
-Dyarn.resourcemanager.am.max-attempts=3
-Dyarn.application-attempts=3 
相关推荐
手可摘星辰7771 天前
一次线上FlinkCDC异常排查复盘
大数据·flink
阿里云大数据AI技术3 天前
Flink Forward Asia 2026 深圳启幕:Agentic Streaming for AI,开启实时智能新范式
大数据·flink
tonyabasy4 天前
Flink 实时数仓开发实战:SQL中也能做到资源精细化管理
flink
大大大大晴天4 天前
浅聊Flink实时关联计算的不适用场景
flink
大大大大晴天5 天前
深入解析 Flink Kafka Connector:原理、配置与最佳实践
flink
OceanBase数据库官方博客12 天前
OceanBase + Flink 数据集成(第二部分):通过 JDBC 协议实现实时数据同步
大数据·flink·oceanbase
Volunteer Technology12 天前
Flink Table API与SQL(一)
大数据·sql·flink
大大大大晴天️12 天前
Flink Connector Formats深度解析:从原理到实践
大数据·flink
大大大大晴天12 天前
Flink Connector Formats深度解析:从原理到实践
flink
Volunteer Technology13 天前
Flink Table API与SQL(二)
大数据·数据库·flink