大数据Spark(六十):Spark On Yarn 配置

文章目录

[Spark On Yarn 配置](#Spark On Yarn 配置)

一、配置

1、将Spark安装包解压放在node5节点

2、配置spark-env.sh

二、提交任务测试


Spark On Yarn 配置

Spark 也可以基于Yarn进行任务调度,这就是所谓的Spark on Yarn。Spark基于Yarn进行任务调度只需要在Spark客户端配置相应Hadoop配置文件地址即可。

一、配置

这里选择node5节点作为Spark On Yarn的客户端,Spark On Yarn配置如下:

1、将Spark安装包解压放在node5节点

bash 复制代码
[root@node5 ~]# cd /software/
[root@node5 software]# tar -zxvf ./spark-3.5.5-bin-hadoop3-scala2.13.tgz
[root@node5 software]# mv ./spark-3.5.5-bin-hadoop3-scala2.13 spark-3.5.5

2、配置spark-env.sh

进入$SPARK_HOME/conf,配置spark-env.sh,在该文件中配置HADOOP_CONF_DIR或者YARN_CONF_DIR指定Hadoop相关配置文件路径,两者只需要配置一个即可,配置哪个都可以。spark-env.sh配置如下内容:

bash 复制代码
[root@node5 ~]# cd /software/spark-3.5.5/conf/
[root@node5 conf]# mv spark-env.sh.template spark-env.sh
#配置HADOOP_CONF_DIR或者YARN_CONF_DIR都可以,两者选其一
[root@node5 conf]# vim spark-env.sh
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意:配置Spark On Yarn时,需要在每台NodeManager节点中将每台NodeManager的虚拟内存关闭,在每台NodeManager节点的$HADOOP_HOME/etc/hadoop/yarn-site.xml中加入如下配置:

XML 复制代码
<property>
     <!-- 关闭虚拟内存检查 -->
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

二、提交任务测试

启动HDFS集群、启动Yarn集群,然后在node5节点上提交Spark Pi任务测试Spark任务是否正常在Yarn上执行。

bash 复制代码
#启动zookeeper集群
[root@node3 ~]# zkServer.sh start
[root@node4 ~]# zkServer.sh start
[root@node5 ~]# zkServer.sh start

#启动hadoop集群
[root@node1 ~]# start-all.sh 

#在node5节点提交Spark Pi任务
[root@node5 ~]# cd /software/spark-3.5.5/bin/
[root@node5 bin]# ./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.13-3.5.5.jar 100

以上提交任务命令执行后,可以看到有对应100个task执行,最后输出pi的大致结果。


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
相关推荐
TDengine (老段)1 小时前
TDengine 中 TDgp 中添加机器学习模型
大数据·数据库·算法·机器学习·数据分析·时序数据库·tdengine
希艾席帝恩2 小时前
拥抱智慧物流时代:数字孪生技术的应用与前景
大数据·人工智能·低代码·数字化转型·业务系统
Bar_artist3 小时前
离线智能破局,架构创新突围:RockAI与中国AI的“另一条车道”
大数据·人工智能
牛客企业服务4 小时前
2025校招AI应用:校园招聘的革新与挑战
大数据·人工智能·机器学习·面试·职场和发展·求职招聘·语音识别
鼠鼠我捏,要死了捏5 小时前
Spark Shuffle性能优化实践指南:提升大数据处理效率
性能优化·spark·shuffle
电商数据girl5 小时前
如何利用API接口与网页爬虫协同进行电商平台商品数据采集?
大数据·开发语言·人工智能·python·django·json
TDengine (老段)5 小时前
TDengine 中 TDgpt 异常检测的数据密度算法
java·大数据·算法·时序数据库·iot·tdengine·涛思数据
蚂蚁数据AntData6 小时前
DB-GPT 0.7.3 版本更新:支持Qwen3 Embedding和Reranker模型、支持知识库自定义检索策略等
大数据·开源·全文检索·数据库架构
暖苏7 小时前
python-异常(笔记)
大数据·开发语言·笔记·python·异常
松果财经9 小时前
外卖“0元购”退场后,即时零售大战才刚开始
大数据·人工智能