Linux安装spark3.1.3

1.下载安装包

Index of /dist/sparkhttps://archive.apache.org/dist/spark/

2.上传安装包

3.解压安装包

4.设置home

复制代码
vi /etc/profile


#spark-3.1.3
export SPARK_HOME=/usr/local/software/spark-3.1.3-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

5.确认文件生效

复制代码
source /etc/profile

6.进入spark/conf目录

复制代码
cp spark-env.sh.template spark-env.sh

7.添加设置必要的参数

复制代码
# Hadoop配置文件目录
export HADOOP_CONF_DIR=$HADOOP_HOME/usr/local/software/hadoop-3.1.3

# YARN配置文件目录
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

# SPARK目录
export SPARK_HOME=/usr/local/software/spark-3.1.3-bin-hadoop3.2

# SPARK执行文件目录
export PATH=$SPARK_HOME/bin:$PATH

# 使Spark可读写HDFS中的数据
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

# 配置JAVA_HOME
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64

8.启动spark

复制代码
./sbin/start-all.sh

ps -ef | grep spark
相关推荐
wacsii18 分钟前
【Linux进程(五)】进程控制全解析:从创建、终止、等待到程序替换
linux·服务器
七夜zippoe1 小时前
Nexent Linux 部署:用 deploy.sh
linux·服务器·docker·部署·ai智能体·nexent
去码头整点薯条981 小时前
NFS服务器
linux·运维·服务器
蜗牛一步步往上爬2 小时前
第一章 初识Linux shell
linux·运维·服务器
拂拉氏2 小时前
【知识讲解】 Linux线程中锁的认识
linux·互斥锁
无足鸟ICT2 小时前
【RHCA+】系统调优配置文件
linux·服务器
饿了吃洗衣凝珠3 小时前
DNS域名解析服务器
运维·服务器
布莱克6053 小时前
Swift 字符串详解:从基础用法到性能与最佳实践
服务器·开发语言·ssh·字符串·swift
新*4 小时前
Elasticsearch 索引别名入门:创建、路由、原子切换与几个常见误解
运维·后端·elasticsearch·索引别名
时间的拾荒人4 小时前
Shell 脚本核心语法详解(下篇):流程控制、函数、重定向与文件包含
linux·运维·服务器·bash·脚本编程