Spark context stopped while waiting for backend

目录

报错信息

解决办法

解释


报错信息

Spark context stopped while waiting for backend

翻译过来就是 :Spark上下文在等待后端时停止

解决办法

通过在yarn-site.xml中添加如下配置项,并重启yarn,程序在 "--driver-memory 600m --executor-memory 600m"的参数下已可以成功运行。

复制代码
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

解释

这个错误通常意味着 Spark 应用程序在等待后端资源或服务时,Spark 上下文(context)被关闭或终止了。

  1. 资源不足:如果集群资源不足,Spark 作业可能会因为等待资源而超时,导致上下文被关闭。请检查集群资源利用率,确保有足够的资源来执行作业。
  2. 长时间未响应:如果 Spark 作业长时间没有响应,它可能会被系统自动关闭。检查你的作业是否有无限循环、死锁或其他可能导致长时间运行的问题。
  3. 配置问题 :检查 Spark 的配置设置,确保它们是正确的。例如,检查 spark.driver.memoryspark.executor.memory 是否设置得太高或太低。
相关推荐
007php00727 分钟前
Docker Compose 安装Elasticsearch8和kibana和mysql8和redis5 并重置密码的经验与总结
大数据·运维·elasticsearch·搜索引擎·docker·容器·jenkins
EasyGBS34 分钟前
室外摄像头异常自检指南+视频监控系统EasyCVR视频质量诊断黑科技
大数据·人工智能·音视频
2401_846535951 小时前
spark和hadoop的区别与联系
开发语言·spark
桑榆08062 小时前
Spark-SQL编程
spark
Blossom.1183 小时前
量子计算在金融领域的应用与展望
数据库·人工智能·分布式·金融·架构·量子计算·ai集成
旋风小飞棍3 小时前
spark和hadoop的区别与联系
大数据·开发语言·scala
仙长道号-Linux真人4 小时前
kafka监控kafka manager(CMAK)部署配置
java·分布式·zookeeper·kafka·jdk
cnsinda_sdc4 小时前
源代码加密之零日攻击
大数据·网络·安全·web安全
Lilith的AI学习日记4 小时前
n8n 中文系列教程_04.半开放节点深度解析:Code与HTTP Request高阶用法指南
大数据·人工智能·aigc·n8n
苏小夕夕5 小时前
Spark-SQL(四)
大数据·sql·spark