在Spark集群中搭建Standalone

Betty_蹄蹄boo2025-04-29 11:34

1.Standalone模式介绍

Spark Standalone 模式是一种独立的集群部署模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。在该模式中，Spark 集群由 Master 节点和 Worker 节点构成，使用内置的 Standalone 框架进行资源管理1。Master 是主控节点，负责接收 Client 提交的作业，管理 Worker，并命令 Worker 启动 Driver 和 Executor4。Worker 节点负责具体的 Executor 的启动运行，Executor 持有一个线程池，每个线程可以执行一个 task，为应用程序中要求缓存的 RDD 提供内存式存储
一句话理解是：它自带yarn功能。

2.Standalone模式准备

  • 硬件资源 ：根据业务需求和数据量大小，需要准备多台机器 （linux，ip设置，能ping 百度），免密互联
    准备足够的服务器作为集群节点，考虑 CPU、内存、存储等资源。
  • 软件安装 ：
    • JDK：安装 Java Development Kit，版本至少为 8。
    • Apache Spark：选择合适的版本下载并解压。
    • Scala：如果通过 Scala 编写 Spark 应用，需要安装对应版本的 Scala。

3.Standalone模式的配置步骤

  1. 配置 Worker 节点 ：重命名slaves.template文件为slaves，编辑该文件，将原有的localhost替换为 Worker 节点的主机名或 IP 地址。
  2. 配置 Spark 集群运行参数 ：重命名spark-env.sh.template配置文件为spark-env.sh，编辑该文件，追加相关配置，如设置 JDK 目录、web 监控页面端口号、Zookeeper 集群地址等。
  3. 部署 Spark 到 Worker 节点：在 Worker 节点创建 Spark 目录，修改目录所有者，然后将 Master 节点上的 Spark 文件和环境变量发送到 Worker 节点，并在 Worker 节点刷新环境变量。
  4. 启动 Spark 集群 ：先启动所有节点的 Zookeeper，然后在 Master 节点使用start - all.sh脚本启动 Spark 集群，也可在备用节点使用start - master.sh启动备用 Master。

在开始配置之前，请确保三台虚拟机都正确启动了！

具体配置步骤如下。

1.上传spark安装包到某一台机器（例如:hadoop100）。 spark.3.1.2-bin-hadoop3.2.tgz。

2.解压。 把第一步上传的安装包解压到/opt/module下（也可以自己决定解压到哪里）。对应的命令是：tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/

3.重命名。进入/opt/module/把解压的内容重命名一下，mv spark-3.1.1-bin-hadoop3.2/ spark-standalone

4.配置环境变量,更新spark路径。/etc/profile.d/my_env.sh。

5.同步环境变量，并使用source命令让它生效。

6.修改workers.template文件。这个文件在spark的安装目录下的conf目录下，先把名字改为workers，然后把内容设置为三台机器的主机名，具体如下。

复制代码 
hadoop100
hadoop101
hadoop102

7.修改spark-env.sh.template文件。先把名字改成spark-env.sh，然后修改内容，添加JAVA_HOME环境变量和集群对应的master节点以及通信端口，具体如下。

复制代码 
SPARK_MASTER_HOST=hadoop100
SPARK_MASTER_PORT=7077

8.同步设置完毕的Spark目录到其他节点。使用我们之前封装的命令:

复制代码 
xsync /opt/module/spark-standalone/

9.启动SPARK集群。进入到hadoop100机器，切换目录到/opt/module/spark-standalone/sbin下，运行命令 ./start-all.sh。

注意，这里不要省略./,它表示的是当前目录下的start-all命令，如果省略了./，它就会先去环境变量PATH中指定的目录来找这个命令。

10.验收效果。通过jps命令去每台机器上查看运行的进程。请观察是否在hadoop100上看到了master，worker在hadoop101,hadoop102上看到了worker。

11.查看启动效果。打开浏览器，输入hadoop100:8080。看到效果如下：

4.提交Spark作业

  1. 编写 Spark 作业代码 ：创建一个 Scala 或 Java 文件，编写 Spark 作业代码，例如实现一个简单的单词计数功能。在代码中通过SparkSession.builder指定master("spark://<master - ip>:7077")来连接到 Spark 集群的 Master 节点。
  2. 将应用程序打包成 jar 文件 ：在项目根目录下创建build.sbt文件（如果是 Scala 项目），使用相关命令将应用程序打包成 jar 文件。
  3. 提交作业到 Spark 集群 ：使用spark - submit命令提交作业，指定 Spark master 的 IP 和 jar 文件的位置，以及其他必要的参数，如应用程序的入口类、传入的参数等。

把spark程序提交给集群执行。切换到目录 /opt/module/spark-standalone/bin下，可以看到有一个spark-submit 可执行文件，我们通过它来提交任务。它支持的参数如下：

--class Spark 程序中包含主函数的类

--master Spark 程序运行的模式 (环境)

--deploy-mode master 设为 Yarn 模式之后，使用的模式，可以选择client 和 cluster

--driver-cores master 设为 Yarn 模式之后，设置 driver 端的 cores 个数

--driver-memory master 设为 Yarn 模式之后，用于设置 driver 进程的内存（单位 G 或单位 M）

--num-executors master 设为 Yarn 模式之后，用于设置 Spark 作业总共要用多少个 Executor 进程来执行

--executor-memory 指定每个 executor 可用内存（单位 G 或单位 M）

--total-executor-cores 2 指定所有 executor 使用的 cpu 核数为 2 个

--executor-cores 指定每个 executor 使用的 cpu 核数

application-jar 打好包的应用 jar，包含依赖。这个 URL 在集群中全局可见。比如 hdfs 的共享存储系统，如果是 file://path，那么所有的节点的 path 都包含同样的 jar

application-arguments: 传递给main()方法的参数

提交Spark作业

复制代码 
spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop100:7077 /opt/module/spark-standalone/examples/jars/spark-examples_2.12-3.1.1.jar 10

运行结果截图：


在hadoop100:8080上查看：

5.配置历史服务器

如果Spark服务重新启动，那么hadoop100:8080这里记录的运行记录就消失了。大家可以通过./stop-all.sh 来停止spark集群，然后再通过start-all来重新启动集群。看看是否还有记录。

我们需要有一个能够查看历史任务的功能。请注意，我们会把历史任务的记录保存在hdfs集群文件中，所以，这里需要hdfs服务的支持。

具体步骤如下：

1.停止任务。进入/opt/module/spark-standalone/sbin， 运行命令 ./stop-all.sh

2.修改/opt/module/spark-standalone/conf/spark-default.conf.temple。修改名字，改成spark-default.conf，再补充两个设置。如下所示。

具体代码如下

复制代码 
spark.eventlog.enable true
spark.eventlog.dir hdfs://hadoop100:8020/directory

代码说明：这里指定了历史任务相关的信息要保存在集群的/directory文件夹下，所以要确保我们有这个目录，并且hdfs服务时是开启的状态。

3.启动hadoop的hdfs服务（start-dfs.sh）,并在根目录创建目录directory。可以通过命令行的方式来创建，也可以通过hadoop100:9870的页面操作来创建。

4.修改spark-env.sh文件。添加一句设置：

复制代码 
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop100:8020/directory"

5.分发修改之后的配置文件到集群的其他机器。

复制代码 
xsync /opt/module/spark-standalone/conf/

6.重新启动spark集群。命令是./start-all.sh

7.启动历史服务器：命令是 ./start-history-server.sh

检查spark-standalone/logs


8.在18080端口下看效果。此时应该是没有任务的。

9.重新提交一个新的任务，再次回到18080下，看看是否已经有了任务。

总结：

  1. 配置spark - defaults.conf文件 ：将spark - defaults.conf.template文件重命名为spark - defaults.conf，添加配置spark.eventLog.dir hdfs://<namenode - ip>:<port>/spark - job - log，指定的 HDFS 目录必须提前存在。

  2. 修改spark - env.sh文件 ：添加配置export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=30 -Dspark.history.fs.logDirectory=hdfs://<namenode - ip>:<port>/spark - job - log"。

  3. 分发配置文件：将修改后的配置文件分发给集群中的各个节点。

  4. 启动历史服务 ：先启动 HDFS，然后使用start - history - server.sh脚本启动历史服务器。

  5. 登录 Web 界面 ：在浏览器中输入http://<history - server - ip>:18080访问 Spark History Server 的 Web 界面，查看作业的历史记录。

相关推荐
yuhuhuh8 分钟前
如何在idea中写spark程序
ajax·spark·intellij-idea
不爱学英文的码字机器23 分钟前
数字孪生的浪潮：从虚拟镜像到现实世界的 IT 变革
大数据·python
kaamelai31 分钟前
Kaamel视角下的MCP安全最佳实践
大数据·人工智能·安全
anqi2741 分钟前
如何在 IntelliJ IDEA 中编写 Speak 程序
java·大数据·开发语言·spark·intellij-idea
xiaoxi66644 分钟前
Dubbo实战：四步实现注册中心平滑迁移
分布式·nacos·dubbo·注册中心
互联科技报1 小时前
孙宇晨将出席迪拜Token2049 与特朗普次子共话加密未来
大数据
科技小E2 小时前
EasyRTC嵌入式音视频通信SDK智能安防与监控系统的全方位升级解决方案
大数据·网络·人工智能·音视频
刘翔在线犯法2 小时前
如何搭建spark yarn模式的集合集群
大数据·分布式·spark
富能量爆棚2 小时前
如何搭建spark yarn 模式的集群
大数据·javascript·spark
锅包肉的九珍3 小时前
如何在idea中写spark程序
spark
热门推荐
01西电B测-计算机网络综合实验(含验收问题)02KGG转MP3工具|非KGM文件|解密音频03从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑04Coze扣子平台完整体验和实践（附国内和国际版对比）05YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】06DeepSeek各版本说明与优缺点分析07最新 Kubernetes 集群部署 + flannel 网络插件（保姆级教程，最新 K8S 版本）08yolov8，yolo11，yolo12 服务器训练到部署全流程 笔记09我决定放弃搞 Java 了10yolov10来了！用yolov10训练自己的数据集（原理、训练、部署、应用）