如何搭建spark yarn模式的集群

一、环境准备

  1. 操作系统:建议使用 CentOS、Ubuntu 等 Linux 系统。

  2. Java 环境:安装 JDK 1.8 或以上版本。

  3. Hadoop 环境:安装并配置 Hadoop 集群,确保 HDFS 和 YARN 服务正常运行。

二、安装 Spark

  1. 下载并解压 Spark:

下载 Spark 安装包(如 `spark-3.1.2-bin-hadoop3.2.tgz`)。

解压到指定目录,例如 `/opt/installs`:

复制代码
tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs

重命名并创建符号链接:

复制代码
     mv /opt/installs/spark-3.1.2-bin-hadoop3.2 /opt/installs/spark-yarn
     ln -s /opt/installs/spark-yarn /opt/installs/spark
  1. 配置环境变量:

在 `/etc/profile` 或用户主目录下的 `.bashrc` 文件中添加:

复制代码
     export SPARK_HOME=/opt/installs/spark
     export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

执行 `source /etc/profile` 或 `source ~/.bashrc` 使环境变量生效。

三、配置 Spark

  1. 修改 `spark-env.sh` 配置文件:

进入 Spark 配置目录:

复制代码
 cd /opt/installs/spark/conf

复制模板文件并编辑:

复制代码
     cp spark-env.sh.template spark-env.sh
     vim spark-env.sh

添加以下内容:

复制代码
     export JAVA_HOME=/opt/installs/jdk
     export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
     export YARN_CONF_DIR=/opt/installs/hadoop/etc/hadoop
     export SPARK_DAEMON_MEMORY=1g
     export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://master:9820/spark/eventLogs -Dspark.history.fs.cleaner.enabled=true"

其中 `master` 是 NameNode 的主机名。

  1. 修改 `spark-defaults.conf` 文件:

复制模板文件并编辑:

复制代码
     cp spark-defaults.conf.template spark-defaults.conf
     vim spark-defaults.conf

添加以下内容:

复制代码
    spark.eventLog.enabled true
     spark.eventLog.dir hdfs://master:9820/spark/eventLogs
     spark.eventLog.compress true
     spark.yarn.historyServer.address master:18080
     spark.yarn.jars hdfs://master:9820/spark/jars/*
  1. 修改 `log4j.properties` 文件:

复制模板文件并编辑:

复制代码
cp log4j.properties.template log4j.properties

修改日志级别为 `WARN`:

复制代码
  log4j.rootCategory=WARN, console
  1. 上传 Spark JAR 包到 HDFS:

    复制代码
    hdfs dfs -mkdir -p /spark/jars
    hdfs dfs -put /opt/installs/spark/jars/* /spark/jars/

四、配置 YARN

  1. 修改 `yarn-site.xml` 文件:

编辑 Hadoop 的 `yarn-site.xml` 文件:

复制代码
vim /opt/installs/hadoop/etc/hadoop/yarn-site.xml

添加或修改以下配置:

复制代码
<property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
     </property>
     <property>
       <name>yarn.log-aggregation.retain-seconds</name>
       <value>604800</value>
     </property>
     <property>
       <name>yarn.log.server.url</name>
       <value>http://master:19888/jobhistory/logs</value>
     </property>
     <property>
       <name>yarn.nodemanager.pmem-check-enabled</name>
       <value>false</value>
     </property>
     <property>
       <name>yarn.nodemanager.vmem-check-enabled</name>
       <value>false</value>
     </property>
  1. 分发配置文件:

使用工具(如 `xsync.sh`)将修改后的 `yarn-site.xml` 文件分发到集群的其他节点。

五、启动集群

  1. 启动 Hadoop 集群:

    复制代码
    start-dfs.sh
    start-yarn.sh
  2. 启动 Spark 的 History Server:

    /opt/installs/spark/sbin/start-history-server.sh

六、测试集群

  1. 提交测试作业:

使用 Spark Shell 测试:

复制代码
spark-shell --master yarn

在 Spark Shell 中运行示例代码,如计算 PI 值:

Scala 复制代码
     spark.sparkContext.setLogLevel("WARN")
     val count = spark.sparkContext.parallelize(1 to 1000000, 10).map{i =>
       val x = Math.random()
       val y = Math.random()
       if (x*x + y*y < 1) 1 else 0
     }.reduce(_ + _)
     println(s"Pi is roughly ${4.0 * count / 1000000}")
  1. 查看 YARN Web UI:

访问 `http://master:8088`,查看作业运行情况。

通过以上步骤,即可成功搭建并运行 Spark on YARN 模式的集群。

相关推荐
liulilittle3 小时前
C++ TAP(基于任务的异步编程模式)
服务器·开发语言·网络·c++·分布式·任务·tap
码字的字节3 小时前
ZooKeeper在Hadoop中的协同应用:从NameNode选主到分布式锁实现
hadoop·分布式·zookeeper·分布式锁
武子康5 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
数据与人工智能律师7 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
mykyle10 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
itLaity10 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
qq_5298353510 小时前
Zookeeper的简单了解
分布式·zookeeper·云原生
weixin_lynhgworld11 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
smileNicky11 小时前
RabbitMQ有多少种Exchange?
分布式·rabbitmq
你我约定有三11 小时前
RabbitMQ--消息丢失问题及解决
java·开发语言·分布式·后端·rabbitmq·ruby