如何搭建spark yarn 模式的集群

搭建Spark on YARN集群的步骤

Spark on YARN模式允许Spark作业在Hadoop YARN资源管理器上运行,这样可以更好地与Hadoop生态系统集成并共享集群资源。以下是搭建Spark YARN集群的详细步骤:

前提条件

  1. 已安装并配置好Hadoop集群(包括HDFS和YARN)

  2. 所有节点已配置SSH免密登录

  3. Java环境已安装(推荐JDK 8或11)

一、安装Spark

  1. 下载Spark

    • Spark官网下载与Hadoop版本兼容的Spark预编译包

    • 例如:wget https://dlcdn.apache.org/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz

  2. 解压安装包

    bash 复制代码
    tar -xzf spark-3.3.2-bin-hadoop3.tgz -C /opt/
    ln -s /opt/spark-3.3.2-bin-hadoop3 /opt/spark
  3. 配置环境变量 (在所有节点):

    在**/etc/profile** 或**~/.bashrc**中添加:

    bash 复制代码
    export SPARK_HOME=/opt/spark
    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

    然后执行:source /etc/profile

二、配置Spark

  1. 配置spark-env.sh

    bash 复制代码
    cd $SPARK_HOME/conf
    cp spark-env.sh.template spark-env.sh

    编辑spark-env.sh,添加:

    bash 复制代码
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export SPARK_EXECUTOR_MEMORY=2g
    export SPARK_DRIVER_MEMORY=1g
  2. 配置spark-defaults.conf

    bash 复制代码
    cp spark-defaults.conf.template spark-defaults.conf

    编辑spark-defaults.conf,添加:

    bash 复制代码
    spark.master                     yarn
    spark.eventLog.enabled           true
    spark.eventLog.dir               hdfs://namenode:8020/spark-logs
    spark.history.fs.logDirectory    hdfs://namenode:8020/spark-logs
    spark.yarn.jars                  hdfs://namenode:8020/spark/jars/*
  3. 上传Spark依赖到HDFS

    bash 复制代码
    hdfs dfs -mkdir -p /spark/jars
    hdfs dfs -put $SPARK_HOME/jars/* /spark/jars/

三、配置YARN

  1. 确保YARN配置正确

    • 检查**$HADOOP_HOME/etc/hadoop/yarn-site.xml**:

      XML 复制代码
      <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
      </property>
      <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
      </property>
      <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>8192</value> <!-- 根据实际内存调整 -->
      </property>
  2. 重启YARN服务

    bash 复制代码
    stop-yarn.sh
    start-yarn.sh

四、验证安装

  1. 运行Spark Pi示例

    bash 复制代码
    spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    $SPARK_HOME/examples/jars/spark-examples_2.12-3.3.2.jar 100
  2. 查看YARN Web UI

    访问**http://<yarn-resourcemanager>:8088**查看作业状态

  3. 查看Spark History Server(可选):

    bash 复制代码
    $SPARK_HOME/sbin/start-history-server.sh

    访问**http://<spark-history-server>:18080**

五、常见问题解决

  1. 内存不足错误

    • 调整**spark-submit** 的**--executor-memory** 和**--driver-memory**参数

    • 增加YARN的**yarn.nodemanager.resource.memory-mb**值

  2. 类路径问题

    • 确保**HADOOP_CONF_DIR** 和**YARN_CONF_DIR**正确指向Hadoop配置目录
  3. 网络连接问题

    • 检查所有节点之间的网络连接

    • 确保防火墙不会阻止必要的端口

  4. 权限问题

    • 确保HDFS目录有正确的权限

    • 使用**hdfs dfs -chmod**调整权限

通过以上步骤,您应该能够成功搭建一个Spark on YARN集群。根据实际环境和需求,可能需要调整内存配置和其他参数

相关推荐
OEC小胖胖7 小时前
告别 undefined is not a function:TypeScript 前端开发优势与实践指南
前端·javascript·typescript·web
行云&流水7 小时前
Vue3 Lifecycle Hooks
前端·javascript·vue.js
老虎06277 小时前
JavaWeb(苍穹外卖)--学习笔记04(前端:HTML,CSS,JavaScript)
前端·javascript·css·笔记·学习·html
三水气象台8 小时前
用户中心Vue3网页开发(1.0版)
javascript·css·vue.js·typescript·前端框架·html·anti-design-vue
烛阴8 小时前
Babel 完全上手指南:从零开始解锁现代 JavaScript 开发的超能力!
前端·javascript
CN-Dust8 小时前
[FMZ][JS]第一个回测程序--让时间轴跑起来
javascript
诗旸的技术记录与分享9 小时前
Flink-1.19.0源码详解-番外补充3-StreamGraph图
大数据·flink
资讯分享周9 小时前
Alpha系统联结大数据、GPT两大功能,助力律所管理降本增效
大数据·gpt
全宝10 小时前
🎨前端实现文字渐变的三种方式
前端·javascript·css
yanlele10 小时前
前端面试第 75 期 - 2025.07.06 更新前端面试问题总结(12道题)
前端·javascript·面试