龙蜥8.9系统hadoop3.3.6上spark3.5.2安装(伪分布)

继续接着上篇的环境安装。

1、去清华的镜像源下载相关文件 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.2/

2、解压缩

bash 复制代码
tar zxvf spark-3.5.2-bin-hadoop3.tgz

3、移动到适当位置

bash 复制代码
mv spark-3.5.2-bin-hadoop3 /app/spark-3

4、下载scala

https://www.scala-lang.org/download/all.html

这个版本的spark用的是scala-2.12.18

https://www.scala-lang.org/download/2.12.18.html

linux下

https://downloads.lightbend.com/scala/2.12.18/scala-2.12.18.tgz

bash 复制代码
tar zxvf scala-2.12.18.tgz
mv scala-2.12.18 /app/scala-2

4、配置环境变量

nano /etc/profile

下面是完整的java、hadoop、scala、spark的配置环境

bash 复制代码
export JAVA_HOME=/app/openjdk-8
export HADOOP_HOME=/app/hadoop-3
export SCALA_HOME=/app/scala-2
export SPARK_HOME=/app/spark-3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin

环境变量生效

bash 复制代码
source /etc/profile

验证:

scala -version

spark-shell

5、进到/app/spark-3/conf中,复制一个文件出来

bash 复制代码
cp spark-env.sh.template spark-env.sh
bash 复制代码
export SCALA_HOME=/app/scala-3
export JAVA_HOME=/app/openjdk-8
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/app/hadoop-3/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070

6、查看spark版本

bash 复制代码
spark-submit --version

7、启动spark

bash 复制代码
cd /app/spark-3
sbin/start-all.sh

8、jps 查看是否安装成功,比如我的是这样,Worker、Master启动完,记忆证明spark和scala安装启动成功了:

bash 复制代码
19136 JobHistoryServer
18533 ResourceManager
18039 DataNode
18727 NodeManager
20584 Worker
18233 SecondaryNameNode
20681 Jps
17900 NameNode
20479 Master
相关推荐
Edingbrugh.南空5 小时前
Hadoop MapReduce 入门
大数据·hadoop·mapreduce
涤生大数据21 小时前
Apache Spark 4.0:将大数据分析提升到新的水平
数据分析·spark·apache·数据开发
xufwind1 天前
spark standlone 集群离线安装
大数据·分布式·spark
大数据CLUB1 天前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空1 天前
Hadoop高可用集群搭建
大数据·hadoop·分布式
华子w9089258592 天前
基于 Python Django 和 Spark 的电力能耗数据分析系统设计与实现7000字论文实现
python·spark·django
无级程序员2 天前
hive2服务启动报错:/tmp/hive on HDFS should be writable(不是chmod 777能解决的)
hive·hadoop·hdfs
小新学习屋2 天前
Spark从入门到熟悉(篇三)
大数据·分布式·spark
Aurora_NeAr3 天前
Spark SQL架构及高级用法
大数据·后端·spark