ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM

如果你的spark on yarn任务正常运行,能得到结果,但是日志中出现了如下的报错

看见这个报错不要慌张,这个是你开启了动态伸缩容器,且当这个容器触发了空闲关闭的阈值,默认是60秒,这时候该容器会被删除掉,yarn上就会出现这个错误,你查看driver的标准错误输出会发现类型如下的容器移除信息

bash 复制代码
INFO ExecutorMonitor: Executor 83 is removed
相关推荐
数据与人工智能律师18 分钟前
虚拟主播肖像权保护,数字时代的法律博弈
大数据·网络·人工智能·算法·区块链
一只专注api接口开发的技术猿2 小时前
企业级电商数据对接:1688 商品详情 API 接口开发与优化实践
大数据·前端·爬虫
今天我又学废了3 小时前
Spark,SparkSQL操作Mysql, 创建数据库和表
大数据·mysql·spark
杰克逊的日记5 小时前
Flink运维要点
大数据·运维·flink
markuszhang9 小时前
Elasticsearch 官网阅读之 Term-level Queries
大数据·elasticsearch·搜索引擎
Hello World......10 小时前
Java求职面试:从核心技术到大数据与AI的场景应用
大数据·java面试·技术栈·互联网大厂·ai服务
python算法(魔法师版)12 小时前
.NET NativeAOT 指南
java·大数据·linux·jvm·.net
星川皆无恙12 小时前
大模型学习:Deepseek+dify零成本部署本地运行实用教程(超级详细!建议收藏)
大数据·人工智能·学习·语言模型·架构
L耀早睡13 小时前
mapreduce打包运行
大数据·前端·spark·mapreduce
姬激薄13 小时前
MapReduce打包运行
大数据·mapreduce