如何搭建Spark YARN模式的集群

如何搭建Spark YARN模式的集群

  • 节点规划:1个主节点(Master)+ N个工作节点(Worker),需安装Java、Hadoop、Spark。

  • 配置YARN:修改Hadoop的 yarn-site.xml ,启用ResourceManager和NodeManager。

Spark配置

  1. 修改Spark参数
  • 编辑 conf/spark-env.sh ,添加:

export HADOOP_CONF_DIR=/path/to/hadoop/conf

export SPARK_MASTER_IP=主节点IP

  1. 配置 slaves 文件
  • 在 conf/slaves 中列出所有Worker节点IP(每行一个)。

启动集群

  1. 启动Hadoop:

start-dfs.sh # 启动HDFS

start-yarn.sh # 启动YARN

  1. 启动Spark集群:

./sbin/start-all.sh # 在主节点执行

验证

  • 访问YARN界面(默认端口8088),查看Spark应用队列。

  • 提交测试任务:

spark-submit --master yarn --class org.apache.spark.examples.SparkPi /path/to/spark-examples.jar 10

相关推荐
Tesseract_952722 分钟前
【Linux】VSCode用法
linux·c语言·vscode
A_Tai233333334 分钟前
Linux-04-搜索查找类命令
linux·运维·服务器
开花沼泽.2 小时前
一个linux系统电脑,一个windows电脑,怎么实现某一个文件夹共享
linux·运维·服务器
s_little_monster3 小时前
【Linux】线程池和线程补充内容
linux·运维·服务器·c++·笔记·学习·学习方法
Lw老王要学习3 小时前
Linux架构篇、第1章_02源码编译安装Apache HTTP Server 最新稳定版本是 2.4.62
linux·http·架构·云计算·apache
Tesseract_95273 小时前
【Linux】C语言补充知识
linux·c语言
Steps-of-time4 小时前
Linux内核notify通知笔录
linux·运维·服务器
终端行者5 小时前
kubernetes常用命令 k8s指令大全
linux·容器·kubernetes
jjkkzzzz5 小时前
Linux之shell脚本
linux·shell·shell脚本
zhaqonianzhu5 小时前
【wsl】命令说明,wsl的虚拟机ubuntu十分好用
linux·运维·ubuntu·wsl