ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM

如果你的spark on yarn任务正常运行,能得到结果,但是日志中出现了如下的报错

看见这个报错不要慌张,这个是你开启了动态伸缩容器,且当这个容器触发了空闲关闭的阈值,默认是60秒,这时候该容器会被删除掉,yarn上就会出现这个错误,你查看driver的标准错误输出会发现类型如下的容器移除信息

bash 复制代码
INFO ExecutorMonitor: Executor 83 is removed
相关推荐
神秘打工猴7 小时前
Spark和Mapreduce对比
大数据·spark·mapreduce
写代码的橘子n7 小时前
MapReduce相关概念(自用)
大数据·mapreduce
qiquandongkh12 小时前
期权懂|期权都有哪些存在的风险因素?
大数据·区块链
hengzhepa12 小时前
ElasticSearch备考 -- 整体脉络梳理
大数据·elasticsearch·搜索引擎
神秘打工猴13 小时前
Spark基本介绍
大数据·分布式·spark
奥顺13 小时前
八字算命网站搭建方法:从零开始用php搭建一个命理网
大数据·mysql·开源·php
Data-Miner13 小时前
某制造集团灯塔工厂解决方案(36页PPT)
大数据
隔着天花板看星星13 小时前
Structured-Streaming集成Kafka
大数据·分布式·spark·kafka
weixin_3077791314 小时前
AWS EMR上的Spark用Kafka搜集大数据日志Tableau报表展示的设计和实现
大数据·python·spark·kafka·云计算