Linux安装spark3.1.3

1.下载安装包

Index of /dist/sparkhttps://archive.apache.org/dist/spark/

2.上传安装包

3.解压安装包

4.设置home

复制代码
vi /etc/profile


#spark-3.1.3
export SPARK_HOME=/usr/local/software/spark-3.1.3-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

5.确认文件生效

复制代码
source /etc/profile

6.进入spark/conf目录

复制代码
cp spark-env.sh.template spark-env.sh

7.添加设置必要的参数

复制代码
# Hadoop配置文件目录
export HADOOP_CONF_DIR=$HADOOP_HOME/usr/local/software/hadoop-3.1.3

# YARN配置文件目录
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

# SPARK目录
export SPARK_HOME=/usr/local/software/spark-3.1.3-bin-hadoop3.2

# SPARK执行文件目录
export PATH=$SPARK_HOME/bin:$PATH

# 使Spark可读写HDFS中的数据
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

# 配置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64

8.启动spark

复制代码
./sbin/start-all.sh

ps -ef | grep spark
相关推荐
吴建旭 智宅焕1 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
嵌入式 Linux手记2 小时前
一块内存,三种解释:union 的真实用法
linux·c语言·驱动开发·嵌入式
星恒随风2 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
草莓熊Lotso2 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构
IT大白鼠3 小时前
eBPF 观测入门:用 bpftrace 给服务器装上“内核摄像头“
运维·服务器·ebpf
星恒随风3 小时前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
分布式存储与RustFS3 小时前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
好用斋4 小时前
内网测速 LibreSpeed:网页版 Docker 测速服务
运维·docker·容器
江华森5 小时前
从零开始:智能运维概念与Linux环境准备完全指南
linux·运维
布莱克6055 小时前
Swift 闭包详解:从语法到实战的完整指南
服务器·开发语言·ios·ssh·swift·闭包