如何搭建spark yarn 模式的集群

1. 环境准备

  • 集群中的每台节点都要安装好 Java 环境(建议 Java 8 及以上版本)。
  • 确保所有节点间能通过 SSH 无密码登录。
  • 安装并配置好 Hadoop 集群,因为 YARN 是 Hadoop 的资源管理系统。

2.配置Hadoop

core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://namenode:9000</value>

</property>

</configuration>

hdfs-site.xml

复制代码
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/hadoop/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/hadoop/datanode</value>
    </property>
</configuration>
  • yarn-site.xml:
复制代码
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>resourcemanager</value>
    </property>
</configuration>
  • mapred-site.xml:
java 复制代码
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在 NameNode 节点上格式化 HDFS:

hdfs namenode -format

启动 HDFS 和 YARN:

start-dfs.sh

start-yarn.sh

3.下载spark

将下载好的spark拖入opt中创建的文件夹module将他解压至创建的文件夹software中

wget https://downloads.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /opt

3.1配置环境变量

编辑 /etc/profile 文件,添加如下内容:

export SPARK_HOME=/opt/spark-3.3.2-bin-hadoop3 export PATH=PATH:SPARK_HOME/bin:$SPARK_HOME/sbin

使其生效

source /etc/profile

3.3 配置 Spark 核心文件

在 node1 节点上编辑以下文件:

  • spark-env.sh:

cp /opt/spark-3.3.2-bin-hadoop3/conf/spark-env.sh.template /opt/spark-3.3.2-bin-hadoop3/conf/spark-env.sh vim /opt/spark-3.3.2-bin-hadoop3/conf/spark-env.sh

添加内容:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_CONF_DIR=/opt/hadoop-3.3.4/etc/hadoop export SPARK_MASTER_HOST=node1 export SPARK_LOCAL_IP=node1 export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node1:9000/spark-logs -Dspark.history.ui.port=18080"

  • spark-defaults.conf:

cp /opt/spark-3.3.2-bin-hadoop3/conf/spark-defaults.conf.template /opt/spark-3.3.2-bin-hadoop3/conf/spark-defaults.conf vim /opt/spark-3.3.2-bin-hadoop3/conf/spark-defaults.conf

添加如下内容

spark.master yarn spark.submit.deployMode cluster spark.yarn.am.memory 1024m spark.executor.memory 1024m spark.eventLog.enabled true spark.eventLog.dir hdfs://node1:9000/spark-logs

3.4同步到其他节点

scp -r /opt/spark-3.3.2-bin-hadoop3/conf node2:/opt/spark-3.3.2-bin-hadoop3/ scp -r /opt/spark-3.3.2-bin-hadoop3/conf node3:/opt/spark-3.3.2-bin-hadoop3/

3.5创建spark日志

hdfs dfs -mkdir -p /spark-logs

3.6 启动 Spark History Server

在 node1 节点上执行:

start-history-server.sh

4.测试集群

spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ /opt/spark-3.3.2-bin-hadoop3/examples/jars/spark-examples_2.12-3.3.2.jar \ 10

相关推荐
大大大大晴天9 小时前
每天认识一个组件:VictoriaLogs
大数据
学长毕设12 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
玖米GEO运营王总监14 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
龙腾AI白云16 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy199018 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天1 天前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界1 天前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天1 天前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城1 天前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk5551 天前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch