Spark,集群搭建-Standalone

以下是Spark Standalone集群搭建的关键步骤(基于Linux系统):

一、环境准备

  1. 安装Java
  • 确保所有节点安装JDK 8+,配置 JAVA_HOME 环境变量。
  1. 关闭防火墙

bash

systemctl stop firewalld && systemctl disable firewalld

  1. 配置SSH免密登录
  • 主节点生成密钥并分发到所有从节点:

bash

ssh-keygen -t rsa # 按提示完成,不设密码

ssh-copy-id slave1 # 替换为从节点主机名/IP

二、下载与解压Spark

  1. 下载Spark包
  • 官网下载对应版本(如 spark-3.5.0-bin-hadoop3 ),上传至主节点。
  1. 解压并配置

bash

tar -zxvf spark-3.5.0-bin-hadoop3.tgz -C /opt

cd /opt/spark-3.5.0-bin-hadoop3/conf

cp spark-env.sh.template spark-env.sh

bash

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk # 替换为实际路径

export SPARK_MASTER_IP=master_hostname # 主节点主机名/IP

export SPARK_WORKER_MEMORY=2g # 从节点内存(按需调整)

三、配置集群节点

  1. 修改 slaves 文件

bash

cp slaves.template slaves

echo "slave1" >> slaves # 添加从节点主机名/IP,每行一个

echo "slave2" >> slaves

  1. 分发Spark到从节点

bash

scp -r /opt/spark-3.5.0-bin-hadoop3 slave1:/opt

scp -r /opt/spark-3.5.0-bin-hadoop3 slave2:/opt

四、启动集群

  1. 启动主节点

bash

cd /opt/spark-3.5.0-bin-hadoop3

sbin/start-master.sh

  1. 启动从节点

bash

sbin/start-slaves.sh

  1. 验证状态
  • 主节点Web界面: http://master_ip:8080 ,查看从节点是否在线。

五、常用操作

  • 停止集群:

bash

sbin/stop-slaves.sh && sbin/stop-master.sh

  • 提交任务:

bash

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master spark://master_ip:7077 \

./examples/jars/spark-examples_*.jar 10

注意事项

  • 确保所有节点时间同步(可使用 ntp 服务)。

  • 从节点需预先创建与主节点相同的用户和目录权限。

  • 内存和CPU资源根据实际硬件调整( SPARK_WORKER_CORES 参数)。

相关推荐
IvanCodes2 天前
三、Spark 运行环境部署:全面掌握四种核心模式
大数据·分布式·spark
喻师傅3 天前
SparkSQL 子查询 IN/NOT IN 对 NULL 值的处理
大数据·spark
星星妳睡了吗4 天前
Spark DataFrame与数据源交互
大数据·分布式·spark
神仙别闹4 天前
基于Spark图计算的社会网络分析系统
大数据·分布式·spark
IvanCodes4 天前
二、Spark 开发环境搭建 IDEA + Maven 及 WordCount 案例实战
大数据·spark·scala
涤生大数据4 天前
从8h到40min的极致并行优化:Spark小数据集UDTF处理的深度实践与原理剖析
大数据·分布式·spark·涤生大数据
qq_463944864 天前
【Spark征服之路-3.7-Spark-SQL核心编程(六)】
sql·ajax·spark
青云交6 天前
Java 大视界 -- 基于 Java 的大数据分布式计算在地球物理勘探数据处理与地质结构建模中的应用(356)
java·大数据·spark·地质建模·分布式计算·地球物理勘探·地震数据处理
qq_463944866 天前
【Spark征服之路-3.6-Spark-SQL核心编程(五)】
sql·ajax·spark
淦暴尼9 天前
基于spark的二手房数据分析可视化系统
大数据·分布式·数据分析·spark