spark+scala安装部署

spark安装

1.上传并解压

复制代码

tar -zxvf spark-3.5.0-bin-hadoop3.tgz -C /opt/module/

2.配置环境变量

复制代码

vim /etc/profile.d/my_env.sh

#spark环境变量
export SPARK_HOME=/opt/module/spark-3.5.0
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

刷新环境变量生效

复制代码

source /etc/profile

3.修改配置文件

进入conf目录下

复制代码

cd /opt/module/spark-3.5.0/conf/

修改spark-env.sh

复制代码

export JAVA_HOME=/opt/module/jdk1.8.0_161
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.4/etc/hadoop
export SPARK_MASTER_HOST=master
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=1
export SPARK_MASTER_WEBUI_PORT=8080

复制代码

vim workers

复制代码

vim spark-defaults.conf

4.分发文件

复制代码

scp -r /opt/module/spark-3.5.0/ slave1:/opt/module/
scp -r /opt/module/spark-3.5.0/ slave2:/opt/module/
scp -r /etc/profile.d/my_env.sh slave1:/etc/profile.d/
scp -r /etc/profile.d/my_env.sh slave2:/etc/profile.d/

传完记得分别source刷新

5.启动spark

启动master进程，jps查看

启动worker节点

复制代码

./sbin/start-worker.sh spark://master:7077

报错：问题出在 Spark 无法找到 HDFS 上的/spark-logs目录，这是由于 Spark 的事件日志（Event Log）功能配置了 HDFS 路径，但该路径不存在导致的。

因此在hdfs上创建目录，为了方便赋予权限

复制代码

# 在HDFS上创建spark-logs目录
hdfs dfs -mkdir -p /spark-logs
# 赋予读写权限（根据实际需求调整权限，这里开放所有权限方便测试）
hdfs dfs -chmod 777 /spark-logs

重新启动

复制代码

spark-shell

ctrl+c退出

scala安装

1.上传并解压

复制代码

 tar -zxvf scala-2.12.0.tgz -C /opt/module/

2.启动zookeeper

复制代码

cd /opt/module/zookeeper-3.5.7/bin/

./zkServer.sh start

3.启动journalnode（守护进程）

复制代码

hdfs --daemon start journalnode

4.启动Hadoop

复制代码

start-dfs.sh

start-yarn.sh

5.配置环境变量

复制代码

vim /etc/profile.d/my_env.sh

#scala环境变量
export SCALA_HOME=/opt/module/scala-2.12.0
export PATH=$SCALA_HOME/bin:$PATH

刷新环境变量生效

复制代码

source /etc/profile

6.测试scala

复制代码

scala -version

7.进入并退出scala

scala:进入

:quit：退出