如何搭建spark yarn 模式的集群集群。

以下是搭建Spark YARN模式集群的一般步骤:

准备工作

  • 确保集群中各节点安装了Java,并配置好 JAVA_HOME 环境变量。

  • 各节点间能通过SSH免密登录。

  • 安装Hadoop集群,并确保HDFS和YARN服务正常运行。

下载与安装Spark

  • 在官网下载适合你系统的Spark版本,将下载的压缩包上传到集群中指定节点。

  • 解压压缩包到指定目录,如 /opt/spark ,并配置 SPARK_HOME 环境变量,将 $SPARK_HOME/bin 添加到 PATH 环境变量。

配置Spark

  • 进入 $SPARK_HOME/conf 目录,复制 spark-env.sh.template 为 spark-env.sh ,编辑该文件,添加以下内容:

bash

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

export HADOOP_CONF_DIR=/etc/hadoop/conf

export SPARK_MASTER_IP=master节点IP

export SPARK_LOCAL_DIRS=/data/spark/local

export SPARK_DRIVER_MEMORY=2g

export SPARK_EXECUTOR_MEMORY=2g

  • 复制 slaves.template 为 slaves ,在 slaves 文件中列出所有Worker节点的主机名或IP地址,每行一个。

启动集群

  • 在Master节点上,执行 $SPARK_HOME/sbin/start-all.sh 启动Spark集群。

  • 可以通过访问 http://Master节点IP:8080 查看Spark Master的Web界面,确认集群是否正常启动。

提交任务

  • 编写Spark应用程序,将其打包成JAR文件。

  • 使用 spark-submit 命令提交任务到YARN集群,例如:

bash

spark-submit \

--class com.example.MySparkApp \

--master yarn \

--deploy-mode cluster \

/path/to/myapp.jar

以上是基本步骤,实际搭建中需根据具体环境和需求调整配置。

相关推荐
ComPDFKit5 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
FRing036 小时前
vue3干货总结2(vue3生命周期、父子通信、模版引用、provide和inject)
开发语言·前端·vue.js·vue3
琳少_8 小时前
java程序开发笔记
java·开发语言·数据库·笔记
七夜zippoe8 小时前
Agent 告警设计:分级告警、智能降噪与值班排班
开发语言·ai·agent·告警·智能降噪·值班排班
严肃小白兔10 小时前
PHP 8.6 正式发布:部分函数应用、原生 I/O 轮询与新特性实战解析
开发语言·php
郝学胜-神的一滴10 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
wuyk55512 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
code2cat12 小时前
【随笔】Java客户端选了HTTP/3,怎样知道请求实际走了哪个版本
java·开发语言·http
honker_X15 小时前
Python字符串全攻略:从入门到精通
开发语言·python
半杯咖啡半行码15 小时前
Qt 隐式共享(Implicit Sharing)深度解析:机制、陷阱与 Qt6迁移
开发语言·数据库·qt