大数据Spark（六十）：Spark On Yarn 配置

Lansonli2025-05-26 14:31

文章目录

[Spark On Yarn 配置](#Spark On Yarn 配置)

一、配置

1、将Spark安装包解压放在node5节点

2、配置spark-env.sh

二、提交任务测试

Spark On Yarn 配置

Spark 也可以基于Yarn进行任务调度，这就是所谓的Spark on Yarn。Spark基于Yarn进行任务调度只需要在Spark客户端配置相应Hadoop配置文件地址即可。

一、配置

这里选择node5节点作为Spark On Yarn的客户端，Spark On Yarn配置如下：

1、将Spark安装包解压放在node5节点

bash 复制代码

[root@node5 ~]# cd /software/
[root@node5 software]# tar -zxvf ./spark-3.5.5-bin-hadoop3-scala2.13.tgz
[root@node5 software]# mv ./spark-3.5.5-bin-hadoop3-scala2.13 spark-3.5.5

2、配置spark-env.sh

进入$SPARK_HOME/conf，配置spark-env.sh，在该文件中配置HADOOP_CONF_DIR或者YARN_CONF_DIR指定Hadoop相关配置文件路径，两者只需要配置一个即可，配置哪个都可以。spark-env.sh配置如下内容：

bash 复制代码

[root@node5 ~]# cd /software/spark-3.5.5/conf/
[root@node5 conf]# mv spark-env.sh.template spark-env.sh
#配置HADOOP_CONF_DIR或者YARN_CONF_DIR都可以，两者选其一
[root@node5 conf]# vim spark-env.sh
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意：配置Spark On Yarn时，需要在每台NodeManager节点中将每台NodeManager的虚拟内存关闭，在每台NodeManager节点的$HADOOP_HOME/etc/hadoop/yarn-site.xml中加入如下配置：

XML 复制代码

<property>
     <!-- 关闭虚拟内存检查 -->
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

二、提交任务测试

启动HDFS集群、启动Yarn集群，然后在node5节点上提交Spark Pi任务测试Spark任务是否正常在Yarn上执行。

bash 复制代码

#启动zookeeper集群
[root@node3 ~]# zkServer.sh start
[root@node4 ~]# zkServer.sh start
[root@node5 ~]# zkServer.sh start

#启动hadoop集群
[root@node1 ~]# start-all.sh 

#在node5节点提交Spark Pi任务
[root@node5 ~]# cd /software/spark-3.5.5/bin/
[root@node5 bin]# ./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.13-3.5.5.jar 100

以上提交任务命令执行后，可以看到有对应100个task执行，最后输出pi的大致结果。

📢博客主页：https://lansonli.blog.csdn.net
📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
📢本文由 Lansonli 原创，首发于 CSDN博客🙉
📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨