Linux安装spark3.1.3

1.下载安装包

Index of /dist/sparkhttps://archive.apache.org/dist/spark/

2.上传安装包

3.解压安装包

4.设置home

复制代码
vi /etc/profile


#spark-3.1.3
export SPARK_HOME=/usr/local/software/spark-3.1.3-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

5.确认文件生效

复制代码
source /etc/profile

6.进入spark/conf目录

复制代码
cp spark-env.sh.template spark-env.sh

7.添加设置必要的参数

复制代码
# Hadoop配置文件目录
export HADOOP_CONF_DIR=$HADOOP_HOME/usr/local/software/hadoop-3.1.3

# YARN配置文件目录
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

# SPARK目录
export SPARK_HOME=/usr/local/software/spark-3.1.3-bin-hadoop3.2

# SPARK执行文件目录
export PATH=$SPARK_HOME/bin:$PATH

# 使Spark可读写HDFS中的数据
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

# 配置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64

8.启动spark

复制代码
./sbin/start-all.sh

ps -ef | grep spark
相关推荐
csdn_aspnet1 小时前
在 Docker 容器中本地运行 SQL Server
运维·docker·容器·sqlserver
叼烟扛炮1 小时前
[LangChain] 学习笔记(15):为什么你的重试没用——429、抖动、fallback 与熔断
java·服务器·前端
hi_ro_a2 小时前
Ext系列⽂件系统详解
linux·服务器·操作系统
Z21-X3 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
你住过的屋檐5 小时前
【SeaweedFS】Linux上搭建SeaweedFS文件存储服务完整教程
linux·运维·服务器
Decay__5 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构
少司府5 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
分布式存储与RustFS6 小时前
桶里的文件想当目录使:用 ZeroFS 把 RustFS 挂成一棵 POSIX 树
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
老余说AI6 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
不积跬步无以至千里mmbb266 小时前
Rust三大核心:Trait Crate Mod详解
linux·rust