Spark context stopped while waiting for backend

目录

报错信息

解决办法

解释

---

报错信息

Spark context stopped while waiting for backend

翻译过来就是 ：Spark上下文在等待后端时停止

解决办法

通过在yarn-site.xml中添加如下配置项，并重启yarn，程序在 "--driver-memory 600m --executor-memory 600m"的参数下已可以成功运行。

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

解释

这个错误通常意味着 Spark 应用程序在等待后端资源或服务时，Spark 上下文（context）被关闭或终止了。

1. 资源不足：如果集群资源不足，Spark 作业可能会因为等待资源而超时，导致上下文被关闭。请检查集群资源利用率，确保有足够的资源来执行作业。
2. 长时间未响应：如果 Spark 作业长时间没有响应，它可能会被系统自动关闭。检查你的作业是否有无限循环、死锁或其他可能导致长时间运行的问题。
3. 配置问题 ：检查 Spark 的配置设置，确保它们是正确的。例如，检查 spark.driver.memory 和 spark.executor.memory 是否设置得太高或太低。