如果你的spark on yarn任务正常运行,能得到结果,但是日志中出现了如下的报错
看见这个报错不要慌张,这个是你开启了动态伸缩容器,且当这个容器触发了空闲关闭的阈值,默认是60秒,这时候该容器会被删除掉,yarn上就会出现这个错误,你查看driver的标准错误输出会发现类型如下的容器移除信息
bash
INFO ExecutorMonitor: Executor 83 is removed