大数据Spark(六十):Spark On Yarn 配置

文章目录

[Spark On Yarn 配置](#Spark On Yarn 配置)

一、配置

1、将Spark安装包解压放在node5节点

2、配置spark-env.sh

二、提交任务测试


Spark On Yarn 配置

Spark 也可以基于Yarn进行任务调度,这就是所谓的Spark on Yarn。Spark基于Yarn进行任务调度只需要在Spark客户端配置相应Hadoop配置文件地址即可。

一、配置

这里选择node5节点作为Spark On Yarn的客户端,Spark On Yarn配置如下:

1、将Spark安装包解压放在node5节点

bash 复制代码
[root@node5 ~]# cd /software/
[root@node5 software]# tar -zxvf ./spark-3.5.5-bin-hadoop3-scala2.13.tgz
[root@node5 software]# mv ./spark-3.5.5-bin-hadoop3-scala2.13 spark-3.5.5

2、配置spark-env.sh

进入$SPARK_HOME/conf,配置spark-env.sh,在该文件中配置HADOOP_CONF_DIR或者YARN_CONF_DIR指定Hadoop相关配置文件路径,两者只需要配置一个即可,配置哪个都可以。spark-env.sh配置如下内容:

bash 复制代码
[root@node5 ~]# cd /software/spark-3.5.5/conf/
[root@node5 conf]# mv spark-env.sh.template spark-env.sh
#配置HADOOP_CONF_DIR或者YARN_CONF_DIR都可以,两者选其一
[root@node5 conf]# vim spark-env.sh
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意:配置Spark On Yarn时,需要在每台NodeManager节点中将每台NodeManager的虚拟内存关闭,在每台NodeManager节点的$HADOOP_HOME/etc/hadoop/yarn-site.xml中加入如下配置:

XML 复制代码
<property>
     <!-- 关闭虚拟内存检查 -->
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

二、提交任务测试

启动HDFS集群、启动Yarn集群,然后在node5节点上提交Spark Pi任务测试Spark任务是否正常在Yarn上执行。

bash 复制代码
#启动zookeeper集群
[root@node3 ~]# zkServer.sh start
[root@node4 ~]# zkServer.sh start
[root@node5 ~]# zkServer.sh start

#启动hadoop集群
[root@node1 ~]# start-all.sh 

#在node5节点提交Spark Pi任务
[root@node5 ~]# cd /software/spark-3.5.5/bin/
[root@node5 bin]# ./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.13-3.5.5.jar 100

以上提交任务命令执行后,可以看到有对应100个task执行,最后输出pi的大致结果。


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨
相关推荐
siliconstorm.ai8 分钟前
穿越周期:AIoT产业的真实突破口与实践路径
大数据·人工智能
数据智研18 分钟前
【数据分享】安徽省安庆市地理基础数据(道路、水系、铁路、行政边界(含乡镇)、DEM等)
大数据
云飞云共享云桌面1 小时前
共享云服务器替代传统电脑做三维设计会卡顿吗
大数据·运维·服务器·数据库·自动化
smilejingwei1 小时前
数据分析编程第五步:数据准备与整理
大数据·开发语言·数据分析·esprocspl
Lx3521 小时前
Hadoop集群资源管理:合理分配CPU和内存资源
大数据·hadoop
fanstuck3 小时前
2014-2024高教社杯全国大学生数学建模竞赛赛题汇总预览分析
大数据·人工智能·数学建模·数据挖掘·数据分析
thesky1234564 小时前
camel agent
大数据·人工智能·深度学习·智能体
新手村-小钻风4 小时前
AI-Agent 深度科普:从概念到架构、应用与未来趋势
大数据·人工智能
王小王-1234 小时前
基于Spark的白酒行业数据分析与可视化系统的设计与实现
大数据·数据分析·spark·白酒数据分析·白酒评价文本分析·白酒价格预测·白酒行业
IT研究室4 小时前
大数据毕业设计选题推荐-基于大数据的城市空气污染数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·bigdata·选题推荐