Linux安装spark3.1.3

1.下载安装包

Index of /dist/sparkhttps://archive.apache.org/dist/spark/

2.上传安装包

3.解压安装包

4.设置home

复制代码
vi /etc/profile


#spark-3.1.3
export SPARK_HOME=/usr/local/software/spark-3.1.3-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

5.确认文件生效

复制代码
source /etc/profile

6.进入spark/conf目录

复制代码
cp spark-env.sh.template spark-env.sh

7.添加设置必要的参数

复制代码
# Hadoop配置文件目录
export HADOOP_CONF_DIR=$HADOOP_HOME/usr/local/software/hadoop-3.1.3

# YARN配置文件目录
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

# SPARK目录
export SPARK_HOME=/usr/local/software/spark-3.1.3-bin-hadoop3.2

# SPARK执行文件目录
export PATH=$SPARK_HOME/bin:$PATH

# 使Spark可读写HDFS中的数据
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

# 配置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64

8.启动spark

复制代码
./sbin/start-all.sh

ps -ef | grep spark
相关推荐
轻松Ai享生活3 小时前
5 节课深入学习Linux Cgroups
linux
christine-rr4 小时前
linux常用命令(4)——压缩命令
linux·服务器·redis
三坛海会大神5554 小时前
LVS与Keepalived详解(二)LVS负载均衡实现实操
linux·负载均衡·lvs
東雪蓮☆4 小时前
深入理解 LVS-DR 模式与 Keepalived 高可用集群
linux·运维·服务器·lvs
qq_264220894 小时前
LVS负载均衡群集和LVS+Keepalived群集
运维·负载均衡·lvs
乌萨奇也要立志学C++5 小时前
【Linux】进程概念(二):进程查看与 fork 初探
linux·运维·服务器
雨落Liy5 小时前
Nginx 从入门到进阶:反向代理、负载均衡与高性能实战指南
运维·nginx·负载均衡
Yyyy4825 小时前
Nginx负载均衡集群实验步骤
运维·nginx·负载均衡
绿箭柠檬茶6 小时前
Ubuntu 服务器配置转发网络访问
服务器·网络·ubuntu
獭.獭.6 小时前
Linux -- 信号【上】
linux·运维·服务器