spark本地模式基础配置流程

灯下夜无眠2026-03-11 23:28

1、创建新用户，授予sudo权限

bash 复制代码

# 新建用户
# root账户下执行
adduser wd_ll
usermod -aG sudo wd_ll
visudo
# 在文件末尾添加：
wd_ll ALL=(ALL:ALL) ALL
# 按 Ctrl+X，然后 Y 保存退出

2、创建文件目录，上传解压文件

bash 复制代码

# 创建一个专门的文件目录
sudo mkdir /opt/hadoop-cluster
# 解压文件
sudo tar -zxvf tool/jdk-8u361-linux-x64.tar.gz -C /opt/hadoop-cluster/
sudo tar -zxvf tool/hadoop-3.3.5.tar.gz -C /opt/hadoop-cluster/
sudo tar -zxvf tool/spark-3.5.7-bin-hadoop3.tgz -C /opt/hadoop-cluster/
# 创建软连接
sudo ln -s /opt/hadoop-cluster/jdk1.8.0_361 /opt/hadoop-cluster/java
sudo ln -s /opt/hadoop-cluster/hadoop-3.3.5 /opt/hadoop-cluster/hadoop
sudo ln -s /opt/hadoop-cluster/spark-3.5.7-bin-hadoop3 /opt/hadoop-cluster/spark

3、创建专门的环境变量文件，配置文件

bash 复制代码

# 创建一个单独的文件
sudo vim /etc/profile.d/env.sh
# 配置环境变量 如下：
###
# Java 环境变量
export JAVA_HOME=/opt/hadoop-cluster/java
export PATH=$PATH:$JAVA_HOME/bin

# Hadoop 环境变量
export HADOOP_HOME=/opt/hadoop-cluster/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

# Spark 环境变量
export SPARK_HOME=/opt/hadoop-cluster/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
###

# 更新环境变量 使配置生效
source /etc/profile.d/env.sh

4、安装conda

bash 复制代码

# 安装minconda3
sh tool/Miniconda3-py39_23.5.2-0-Linux-x86_64.sh
# 创建conda环境
mkdir /home/wd_ll/miniconda3/envs/pyspark_env
# 将打包好的环境解压到对应路径下
tar -zxvf tool/pyspark-env.tar.gz -C /home/wd_ll/miniconda3/envs/pyspark_env/

5、将文件目录授权给指定用户

bash 复制代码

sudo chown -R wd_ll: /opt/hadoop-cluster

6、检查主要组件是否安装完成

bash 复制代码

# 检查 java
java -version
# 检查 hadoop
hadoop version
# 检查 spark
pyspark
# 检查 python
python -V
# 检查 conda 
conda env list