ERROR CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM

如果你的spark on yarn任务正常运行,能得到结果,但是日志中出现了如下的报错

看见这个报错不要慌张,这个是你开启了动态伸缩容器,且当这个容器触发了空闲关闭的阈值,默认是60秒,这时候该容器会被删除掉,yarn上就会出现这个错误,你查看driver的标准错误输出会发现类型如下的容器移除信息

bash 复制代码
INFO ExecutorMonitor: Executor 83 is removed
相关推荐
历程里程碑12 分钟前
二叉树---二叉树的最大深度
大数据·数据结构·算法·elasticsearch·搜索引擎·全文检索·深度优先
七夜zippoe14 分钟前
OpenClaw 飞书深度集成:知识库管理
大数据·人工智能·飞书·集成·openclaw
黄焖鸡能干四碗34 分钟前
网络安全风险评估报告(WORD版本)
大数据·运维·网络·人工智能·制造
ZStack开发者社区38 分钟前
金融云新范式:ZStack如何用“一套架构“打通全域全场景
大数据·人工智能
毅炼44 分钟前
MySQL 常见问题总结(1)
java·大数据·数据库
GEO索引未来1 小时前
为什么做GEO需要一套好的数据系统?
大数据·人工智能·ai·chatgpt·googlecloud
CRMEB系统商城1 小时前
国内开源电商系统的格局与演变——一个务实的技术视角
java·大数据·开发语言·小程序·开源·php
AI周红伟1 小时前
《智能体应用交付实操:OpenClaw+Skills+RAG+Agent智能体应用案例实操和智能体交付的方案设计》
大数据·数据库·人工智能·科技·gpt·深度学习·openclaw
爱研究的小梁1 小时前
浅析适配应急与关键场景的三类聚合终端
大数据·网络
RInk7oBjo1 小时前
大模型应用:批量文档摘要与分类实践:本地合同、报告数据处理与导出
大数据·数据库·人工智能