ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM

如果你的spark on yarn任务正常运行,能得到结果,但是日志中出现了如下的报错

看见这个报错不要慌张,这个是你开启了动态伸缩容器,且当这个容器触发了空闲关闭的阈值,默认是60秒,这时候该容器会被删除掉,yarn上就会出现这个错误,你查看driver的标准错误输出会发现类型如下的容器移除信息

bash 复制代码
INFO ExecutorMonitor: Executor 83 is removed
相关推荐
艾莉丝努力练剑8 分钟前
【Git:基本操作】深度解析Git:从初始Git到熟悉基本操作
大数据·linux·c++·人工智能·git·gitee·指令
猫猫姐姐20 分钟前
Flink 2.1 SQL:解锁实时数据与AI集成,实现可扩展流处理
大数据·人工智能·sql·flink
武子康31 分钟前
大数据-142 ClickHouse分片×副本×Distributed 实战 ReplicatedMergeTree、Keeper、insert_quorum
大数据·后端·nosql
月屯2 小时前
es大页读取
大数据·elasticsearch·搜索引擎
hexionly3 小时前
数据仓库·简介(一)
大数据·数据仓库
TDengine (老段)3 小时前
TDengine 数学函数 TRUNCATE 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
TDengine (老段)3 小时前
TDengine 数据函数 CORR 用户手册
大数据·数据库·物联网·时序数据库·tdengine·1024程序员节
隐语SecretFlow10 小时前
【隐语SecretFlow】由蚂蚁集团牵头制定的“隐私保护计算安全分级”IEEE国际标准已正式发布!
大数据·网络·安全
微三云、小叶13 小时前
裂变速度提升300%!279模式如何盘活一个私域商城
大数据·软件开发·商业模式·小程序商城·本地生活·商业思维
还是大剑师兰特15 小时前
Hadoop面试题及详细答案 110题 (106-110)-- Hadoop高级与实战
大数据·hadoop·分布式