如何搭建spark yarn模式的集合集群

一、环境准备

在搭建 Spark on YARN 集群之前,需要确保以下环境已经准备就绪:

  1. 操作系统:推荐使用 CentOS、Ubuntu 等 Linux 发行版。

  2. Java 环境:确保安装了 JDK 1.8 或更高版本。

  3. Hadoop 集群:已经搭建并运行的 Hadoop 集群,包括 HDFS 和 YARN。

二、安装 Spark

  1. 下载 Spark

    从 Apache Spark 官方网站下载适合您 Hadoop 版本的 Spark 安装包。例如,如果您使用的是 Hadoop 3.2,可以下载 spark-3.1.2-bin-hadoop3.2.tgz

  2. 解压并安装

    将下载的 Spark 安装包解压到指定目录,并创建符号链接以便管理。

    复制代码
    cd /opt/modules/
    tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs
    cd /opt/installs
    mv spark-3.1.2-bin-hadoop3.2 spark-yarn
    ln -s /opt/installs/spark-yarn /opt/installs/spark

三、配置 Spark

  1. 修改 spark-env.sh 配置文件。

    在 Spark 的 conf 目录中,将 spark-env.sh.template 文件重命名为 spark-env.sh,并编辑该文件。

    复制代码
    cd /opt/installs/spark/conf
    mv spark-env.sh.template spark-env.sh
    vim spark-env.sh

    在文件中添加以下内容:

    复制代码
    export JAVA_HOME=/opt/installs/jdk
    export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
    export YARN_CONF_DIR=/opt/installs/hadoop/etc/hadoop
    export SPARK_DAEMON_MEMORY=1g
    export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://bigdata01:9820/spark/eventLogs/ -Dspark.history.fs.cleaner.enabled=true"
  2. 修改 spark-defaults.conf 文件。

    spark-defaults.conf.template 文件重命名为 spark-defaults.conf,并编辑该文件:

    复制代码
    mv spark-defaults.conf.template spark-defaults.conf
    vim spark-defaults.conf

    添加以下内容:

    复制代码
    spark.eventLog.enabled           true
    spark.eventLog.dir               hdfs://bigdata01:9820/spark/eventLogs
    spark.eventLog.compress          true
    spark.yarn.historyServer.address bigdata01:18080
    spark.yarn.jars                  hdfs://bigdata01:9820/spark/jars/*
  3. 修改 YARN 配置文件

    编辑 Hadoop 的 yarn-site.xml 文件,确保以下配置项正确:

    复制代码
    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>
    <property>
      <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>
    </property>
    <property>
      <name>yarn.log.server.url</name>
      <value>http://bigdata01:19888/jobhistory/logs</value>
    </property>
    <property>
      <name>yarn.nodemanager.pmem-check-enabled</name>
      <value>false</value>
    </property>
    <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
    </property>
  4. 分发配置文件

    使用工具(如 xsync.sh)将配置文件同步到所有集群节点:

    复制代码
    xsync.sh /opt/installs/spark
    xsync.sh /opt/installs/hadoop/etc/hadoop/yarn-site.xml

四、启动集群

  1. 启动 Hadoop 集群

    确保 HDFS 和 YARN 服务已经启动:

    复制代码
    start-dfs.sh
    start-yarn.sh
  2. 启动 Spark History Server

    启动 Spark 的历史服务器:

    复制代码
    /opt/installs/spark/sbin/start-history-server.sh

五、测试集群

  1. 提交测试作业

    使用 spark-submit 提交一个简单的 Spark 作业:

    复制代码
    spark-submit --master yarn --deploy-mode cluster examples/src/main/python/pi.py 1000
  2. 查看作业运行情况

    在 YARN 的 Web UI 页面(通常是 http://master:8088)中查看作业的运行情况

相关推荐
幼稚园的山代王1 小时前
RabbitMQ 4.1.1-Local random exchange体验
分布式·rabbitmq
张先shen1 小时前
Elasticsearch深度分页解决方案:search_after原理剖析
大数据·elasticsearch·搜索引擎
泊浮目2 小时前
生产级Rust代码品鉴(一)RisingWave一条SQL到运行的流程
大数据·后端·rust
vivo互联网技术2 小时前
vivo Pulsar 万亿级消息处理实践(3)-KoP指标异常修复
java·大数据·服务器·后端·kafka·消息队列·pulsar
武子康2 小时前
大数据-36 HBase 增删改查 列族详解 实测
大数据·后端·hbase
rui锐rui3 小时前
大数据学习1:Hadoop单机版环境搭建
大数据
Fireworkitte3 小时前
ES 压缩包安装
大数据·elasticsearch
大咖分享课4 小时前
深度剖析:Ceph分布式存储系统架构
分布式·ceph·架构·分布式存储
UI设计和前端开发从业者4 小时前
大数据时代UI前端的智能化转型之路:以数据为驱动的产品创新
大数据·前端·ui