在spark集群上在部署一套spark环境，不要影响过去环境

我要用代码向我喜欢的女孩表白2026-04-15 15:33

为啥呢？有这种需求，比如舍不得开资源。A工具，需要spark环境，但是A是spark3.1，B工具，需要spark环境，但是B是spark3.4。那这样咋搞，于是就有了这种情况。

首先复制新的过来

其他的参考我的这篇部署

https://shiao.blog.csdn.net/article/details/127066622

bash 复制代码

# 1) Master 端口
export SPARK_MASTER_PORT=7087
export SPARK_MASTER_WEBUI_PORT=8090

# 2) Worker 端口（固定不随机）
export SPARK_WORKER_PORT=7088
export SPARK_WORKER_WEBUI_PORT=8091

# 3) History Server
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18090"

# 4) Shuffle Service（YARN/External Shuffle）
export SPARK_SHUFFLE_OPTS="-Dspark.shuffle.service.port=7347"

# 5) 其他通用（可选）
export SPARK_PID_DIR=/tmp/new-spark-pids-x2doris

export SPARK_MASTER_HOST=bigdata_tool
export SPARK_LOCAL_DIRS=/root/spark_x2doris/

#SPARK_LOG_DIR=/root/spark_x2doris/logs
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.zk.namespace=/spark_new"

export SPARK_IDENT_STRING="user_spark324"

export SPARK_LOG_DIR="/root/spark_x2doris/logs"

然后去每台机器（最好不要改配置，就直接这样写到临时环境里，避免影响之前搭建好的）

unset SPARK_HOME

unset SPARK_CONF_DIR

export SPARK_MASTER_PORT=7087

export SPARK_MASTER_WEBUI_PORT=8090

export SPARK_WORKER_PORT=7088

export SPARK_WORKER_WEBUI_PORT=8091

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18090"

export SPARK_SHUFFLE_OPTS="-Dspark.shuffle.service.port=7347"

export SPARK_PID_DIR=/tmp/new-spark-pids-x2doris

export SPARK_MASTER_HOST=bigdata_tool

export SPARK_LOCAL_DIRS=/root/spark_x2doris/

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.zk.namespace=/spark_new"

export SPARK_IDENT_STRING="user_spark324"

export SPARK_LOG_DIR="/root/spark_x2doris/logs "

export SPARK_CONF_DIR="/root/spark_x2doris/conf "

上面黑色部分填写自己的spark地址

去master节点启动

./start-master.sh

curl localhost:8090试一下，没问题了就下一步

去work节点上执行（下面最好只写ip，特殊字符啥的会导致链接失败）

./start-worker.sh spark://172.16.27.xxxx:7087

jps一下，然后登录到windows机器访问一下这个ui