如何搭建Spark YARN模式的集群

如何搭建Spark YARN模式的集群

• 节点规划：1个主节点（Master）+ N个工作节点（Worker），需安装Java、Hadoop、Spark。

• 配置YARN：修改Hadoop的 yarn-site.xml ，启用ResourceManager和NodeManager。

Spark配置

1. 修改Spark参数

• 编辑 conf/spark-env.sh ，添加：

export HADOOP_CONF_DIR=/path/to/hadoop/conf

export SPARK_MASTER_IP=主节点IP

2. 配置 slaves 文件

• 在 conf/slaves 中列出所有Worker节点IP（每行一个）。

启动集群

1. 启动Hadoop：

start-dfs.sh # 启动HDFS

start-yarn.sh # 启动YARN

2. 启动Spark集群：

./sbin/start-all.sh # 在主节点执行

验证

• 访问YARN界面（默认端口8088），查看Spark应用队列。

• 提交测试任务：

spark-submit --master yarn --class org.apache.spark.examples.SparkPi /path/to/spark-examples.jar 10