以下是搭建Spark YARN模式集群的一般步骤：
准备工作
-
确保集群中各节点安装了Java，并配置好 JAVA_HOME 环境变量。
-
各节点间能通过SSH免密登录。
-
安装Hadoop集群，并确保HDFS和YARN服务正常运行。
下载与安装Spark
-
在官网下载适合你系统的Spark版本，将下载的压缩包上传到集群中指定节点。
-
解压压缩包到指定目录，如 /opt/spark ，并配置 SPARK_HOME 环境变量，将 $SPARK_HOME/bin 添加到 PATH 环境变量。
配置Spark
- 进入 $SPARK_HOME/conf 目录，复制 spark-env.sh.template 为 spark-env.sh ，编辑该文件，添加以下内容：
bash
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_MASTER_IP=master节点IP
export SPARK_LOCAL_DIRS=/data/spark/local
export SPARK_DRIVER_MEMORY=2g
export SPARK_EXECUTOR_MEMORY=2g
- 复制 slaves.template 为 slaves ，在 slaves 文件中列出所有Worker节点的主机名或IP地址，每行一个。
启动集群
-
在Master节点上，执行 $SPARK_HOME/sbin/start-all.sh 启动Spark集群。
-
可以通过访问 http://Master节点IP:8080 查看Spark Master的Web界面，确认集群是否正常启动。
提交任务
-
编写Spark应用程序，将其打包成JAR文件。
-
使用 spark-submit 命令提交任务到YARN集群，例如：
bash
spark-submit \
--class com.example.MySparkApp \
--master yarn \
--deploy-mode cluster \
/path/to/myapp.jar
以上是基本步骤，实际搭建中需根据具体环境和需求调整配置。