Spark context stopped while waiting for backend

目录

报错信息

解决办法

解释


报错信息

Spark context stopped while waiting for backend

翻译过来就是 :Spark上下文在等待后端时停止

解决办法

通过在yarn-site.xml中添加如下配置项,并重启yarn,程序在 "--driver-memory 600m --executor-memory 600m"的参数下已可以成功运行。

复制代码
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

解释

这个错误通常意味着 Spark 应用程序在等待后端资源或服务时,Spark 上下文(context)被关闭或终止了。

  1. 资源不足:如果集群资源不足,Spark 作业可能会因为等待资源而超时,导致上下文被关闭。请检查集群资源利用率,确保有足够的资源来执行作业。
  2. 长时间未响应:如果 Spark 作业长时间没有响应,它可能会被系统自动关闭。检查你的作业是否有无限循环、死锁或其他可能导致长时间运行的问题。
  3. 配置问题 :检查 Spark 的配置设置,确保它们是正确的。例如,检查 spark.driver.memoryspark.executor.memory 是否设置得太高或太低。
相关推荐
哲讯智能科技6 小时前
智慧能源新篇章:SAP如何赋能光伏行业数字化转型
大数据·人工智能
java1234_小锋8 小时前
Kafka中的消息是如何存储的?
分布式·kafka
老友@8 小时前
Kafka 深度解析:高性能设计、部署模式、容灾机制与 KRaft 新模式
分布式·kafka·kraft·高性能·容灾机制
余子桃8 小时前
Kafka的安装与使用(windows下python使用等)
分布式·kafka
嘟嘟嘟嘟嘟嘟嘟.8 小时前
MapReduce的工作原理
大数据·mapreduce
java1234_小锋8 小时前
Kafka中的消息如何分配给不同的消费者?
分布式·kafka
小样vvv8 小时前
【Kafka】深入探讨 Kafka 如何保证一致性
分布式·kafka
汤姆yu9 小时前
基于python大数据的商品数据可视化分析系统
大数据·python·信息可视化·商品数据
好记忆不如烂笔头abc10 小时前
oracle-blob导出,在ob导入失败
大数据·数据库·python
Double@加贝13 小时前
StarRocks的执行计划和Profile
大数据·starrocks