如何搭建spark yarn 模式的集群集群

以下是搭建Spark YARN模式集群的一般步骤:

准备工作

  • 确保集群中各节点安装了Java环境,并配置好 JAVA_HOME 环境变量。

  • 各节点间能通过SSH免密登录。

  • 安装并配置好Hadoop集群,YARN作为Hadoop的资源管理器,Spark YARN模式需要依赖Hadoop环境。

下载与安装Spark

  • 在官网下载适合你系统的Spark版本,将下载的压缩包上传到集群的主节点,并解压到指定目录。

  • 配置 SPARK_HOME 环境变量,在 spark-env.sh 文件中配置相关环境参数,如 export SPARK_DIST_CLASSPATH=$(hadoop classpath) ,让Spark能够找到Hadoop的相关类。

配置Spark

  • 进入Spark的配置目录,复制 spark-defaults.conf.template 为 spark-defaults.conf ,并进行编辑,设置 spark.master 为 yarn , spark.submit.deployMode 为 cluster 等参数。

  • 复制 slaves.template 为 slaves ,在 slaves 文件中列出所有从节点的主机名或IP地址。

分发Spark到从节点

将安装好的Spark目录通过 scp 命令复制到所有从节点的相同目录下。

启动集群

  • 先启动Hadoop集群,包括NameNode、DataNode、ResourceManager、NodeManager等服务。

  • 在主节点上进入Spark的 sbin 目录,执行 start-all.sh 脚本启动Spark集群,会启动Master和Worker等进程。

验证集群

  • 提交一个Spark示例应用程序,如 spark-examples 中的 WordCount 程序,观察任务是否能在YARN集群上正常运行。

  • 通过YARN的Web界面(通常是 http://resourcemanager_ip:8088 )查看应用程序的运行情况和资源使用情况,也可以通过Spark的Web界面(通常是 http://master_ip:8080 )查看Spark集群的状态。

相关推荐
Thomas214313 小时前
spark pipeline 转换n个字段,如何对某个字段反向转换
大数据·ajax·spark
孟意昶16 小时前
Spark专题-第三部分:性能监控与实战优化(1)-认识spark ui
大数据·数据仓库·sql·ui·spark·etl
Q264336502318 小时前
【有源码】基于Hadoop+Spark的豆瓣电影数据分析与可视化系统-基于大数据的电影评分趋势分析与可视化系统
大数据·hadoop·python·数据分析·spark·毕业设计·课程设计
Lansonli1 天前
大数据Spark(六十四):Spark算子介绍
大数据·分布式·spark
梦想养猫开书店1 天前
38、spark读取hudi报错:java.io.NotSerializableException: org.apache.hadoop.fs.Path
java·spark·apache
IT毕设梦工厂1 天前
大数据毕业设计选题推荐-基于大数据的全球经济指标数据分析与可视化系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·数据分析·spark·毕业设计·源码·bigdata
Leo.yuan1 天前
ODS 是什么?一文搞懂 ODS 与数据仓库区别
大数据·数据仓库·数据挖掘·数据分析·spark
哈哈很哈哈2 天前
Spark核心Shuffle详解(二)ShuffleHandler
大数据·分布式·spark
IvanCodes2 天前
PySpark 安装教程及 WordCount 实战与任务提交
大数据·python·spark·conda
计算机毕设残哥2 天前
紧跟大数据技术趋势:食物口味分析系统Spark SQL+HDFS最新架构实现
大数据·hadoop·python·sql·hdfs·架构·spark