Spark context stopped while waiting for backend

目录

报错信息

解决办法

解释


报错信息

Spark context stopped while waiting for backend

翻译过来就是 :Spark上下文在等待后端时停止

解决办法

通过在yarn-site.xml中添加如下配置项,并重启yarn,程序在 "--driver-memory 600m --executor-memory 600m"的参数下已可以成功运行。

复制代码
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

解释

这个错误通常意味着 Spark 应用程序在等待后端资源或服务时,Spark 上下文(context)被关闭或终止了。

  1. 资源不足:如果集群资源不足,Spark 作业可能会因为等待资源而超时,导致上下文被关闭。请检查集群资源利用率,确保有足够的资源来执行作业。
  2. 长时间未响应:如果 Spark 作业长时间没有响应,它可能会被系统自动关闭。检查你的作业是否有无限循环、死锁或其他可能导致长时间运行的问题。
  3. 配置问题 :检查 Spark 的配置设置,确保它们是正确的。例如,检查 spark.driver.memoryspark.executor.memory 是否设置得太高或太低。
相关推荐
桐果云15 小时前
解锁桐果云零代码数据平台能力矩阵——赋能零售行业数字化转型新动能
大数据·人工智能·矩阵·数据挖掘·数据分析·零售
码luffyliu15 小时前
消息队列 :Kafka 核心要点总结
分布式·kafka·消息队列·mq
数科星球18 小时前
AI重构出海营销:HeadAI如何用“滴滴模式”破解红人营销效率困局?
大数据·人工智能
运维老司机20 小时前
Kafka 开启 SASL_PLAINTEXT 双监听器认证(内网/外网)
分布式·kafka·linq
萤丰信息21 小时前
智慧工地如何撕掉“高危低效”标签?三大社会效益重构建筑业价值坐标
java·大数据·人工智能·微服务·重构·架构·智慧工地
数说故事21 小时前
数说故事 | 2025年运动相机数据报告,深挖主流品牌运营策略及行业趋势
大数据·人工智能·aigc·数说故事
boonya21 小时前
大数据框架Doris全面解析
大数据
fengfuyao9851 天前
分布式电源接入电网进行潮流计算
分布式
财经三剑客1 天前
追觅极境冰箱震撼上市:以首创超低氧保鲜科技打造家庭健康中心
大数据·人工智能·科技
华农第一蒟蒻1 天前
Elasticsearch赋能3D打印机任务统计分析
java·大数据·spring boot·后端·elasticsearch·adb·maven