【spark3.2.4】--完全分布式集群搭建

一、spark-env.sh 文件配置（操作路径：$SPARK_HOME/conf/spark-env.sh）

如果还没创建：

cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh

然后编辑（比如用 vim）：

vim $SPARK_HOME/conf/spark-env.sh

修改内容如下：

# Java 环境
export JAVA_HOME=/usr/local/src/jdk1.8.0_152

# Hadoop 配置目录（用于对接 HDFS）
export HADOOP_CONF_DIR=/usr/local/src/hadoop-3.2.2/etc/hadoop

# Spark Master 配置
export SPARK_MASTER_HOST=master01
export SPARK_MASTER_PORT=7077

# Spark Worker 资源限制
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

# History Server 配置（写入 event log）
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://master01:8020/spark-logs -Dspark.history.fs.cleaner.enabled=true -Dspark.history.fs.cleaner.maxAge=7d"

---

二、workers 文件配置（操作路径：$SPARK_HOME/conf/workers）

如果还没创建：

cp $SPARK_HOME/conf/workers.template $SPARK_HOME/conf/workers

编辑文件：

vim $SPARK_HOME/conf/workers

写入每台 Worker 的 hostname（或 IP）：

node01
node02

可选写法（如果 DNS 不通）：

192.168.1.102
192.168.1.103

---

三、spark-defaults.conf 文件配置（操作路径：$SPARK_HOME/conf/spark-defaults.conf）

如果还没创建：

cp $SPARK_HOME/conf/spark-defaults.conf.template $SPARK_HOME/conf/spark-defaults.conf

编辑文件：

vim $SPARK_HOME/conf/spark-defaults.conf

推荐配置内容如下：

# 集群主节点
spark.master                     spark://master01:7077

# 提交模式（client 适合测试，部署集群可用 cluster）
spark.submit.deployMode          client

# 启用事件日志
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master01:8020/spark-logs

# 历史服务器读取的日志目录
spark.history.fs.logDirectory    hdfs://master01:8020/spark-logs

# 日志自动清理设置
spark.history.fs.cleaner.enabled true
spark.history.fs.cleaner.maxAge  7d

# 默认 executor 资源设置
spark.executor.memory            1g
spark.executor.cores             1

# driver 内存设置（本地运行任务时用）
spark.driver.memory              1g

---

四、HDFS 中创建日志目录

hdfs dfs -mkdir -p /spark-logs
hdfs dfs -chmod -R 755 /spark-logs

如果你用的是非 root 用户运行 Spark，比如 sparkuser：

hdfs dfs -chown sparkuser:hadoop /spark-logs

---

五、启动服务推荐顺序

# 启动 Hadoop 集群
start-dfs.sh

# 启动 Spark 集群
start-all.sh

# 启动 Spark 历史服务器
start-history-server.sh

# 查看 UI 页面（History Server 默认 18080）
http://master01:18080