如何搭建spark yarn 模式的集群集群。

以下是搭建Spark YARN模式集群的一般步骤:

准备工作

  • 确保集群中各节点安装了Java,并配置好 JAVA_HOME 环境变量。

  • 各节点间能通过SSH免密登录。

  • 安装Hadoop集群,并确保HDFS和YARN服务正常运行。

下载与安装Spark

  • 在官网下载适合你系统的Spark版本,将下载的压缩包上传到集群中指定节点。

  • 解压压缩包到指定目录,如 /opt/spark ,并配置 SPARK_HOME 环境变量,将 $SPARK_HOME/bin 添加到 PATH 环境变量。

配置Spark

  • 进入 $SPARK_HOME/conf 目录,复制 spark-env.sh.template 为 spark-env.sh ,编辑该文件,添加以下内容:

bash

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

export HADOOP_CONF_DIR=/etc/hadoop/conf

export SPARK_MASTER_IP=master节点IP

export SPARK_LOCAL_DIRS=/data/spark/local

export SPARK_DRIVER_MEMORY=2g

export SPARK_EXECUTOR_MEMORY=2g

  • 复制 slaves.template 为 slaves ,在 slaves 文件中列出所有Worker节点的主机名或IP地址,每行一个。

启动集群

  • 在Master节点上,执行 $SPARK_HOME/sbin/start-all.sh 启动Spark集群。

  • 可以通过访问 http://Master节点IP:8080 查看Spark Master的Web界面,确认集群是否正常启动。

提交任务

  • 编写Spark应用程序,将其打包成JAR文件。

  • 使用 spark-submit 命令提交任务到YARN集群,例如:

bash

spark-submit \

--class com.example.MySparkApp \

--master yarn \

--deploy-mode cluster \

/path/to/myapp.jar

以上是基本步骤,实际搭建中需根据具体环境和需求调整配置。

相关推荐
-凌凌漆-39 分钟前
【Qt】QStringLiteral 介绍
开发语言·qt
程序员爱钓鱼39 分钟前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin
军训猫猫头1 小时前
1.如何对多个控件进行高效的绑定 C#例子 WPF例子
开发语言·算法·c#·.net
真的想上岸啊1 小时前
学习C++、QT---18(C++ 记事本项目的stylesheet)
开发语言·c++·学习
明天好,会的2 小时前
跨平台ZeroMQ:在Rust中使用zmq库的完整指南
开发语言·后端·rust
丁劲犇2 小时前
用 Turbo Vision 2 为 Qt 6 控制台应用创建 TUI 字符 MainFrame
开发语言·c++·qt·tui·字符界面·curse
旷世奇才李先生2 小时前
Next.js 安装使用教程
开发语言·javascript·ecmascript
charlie1145141913 小时前
深入理解Qt的SetWindowsFlags函数
开发语言·c++·qt·原理分析
likeGhee4 小时前
python缓存装饰器实现方案
开发语言·python·缓存
whoarethenext4 小时前
使用 C++/Faiss 加速海量 MFCC 特征的相似性搜索
开发语言·c++·faiss