龙蜥8.9系统hadoop3.3.6上spark3.5.2安装(伪分布)

继续接着上篇的环境安装。

1、去清华的镜像源下载相关文件 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.2/

2、解压缩

bash 复制代码
tar zxvf spark-3.5.2-bin-hadoop3.tgz

3、移动到适当位置

bash 复制代码
mv spark-3.5.2-bin-hadoop3 /app/spark-3

4、下载scala

https://www.scala-lang.org/download/all.html

这个版本的spark用的是scala-2.12.18

https://www.scala-lang.org/download/2.12.18.html

linux下

https://downloads.lightbend.com/scala/2.12.18/scala-2.12.18.tgz

bash 复制代码
tar zxvf scala-2.12.18.tgz
mv scala-2.12.18 /app/scala-2

4、配置环境变量

nano /etc/profile

下面是完整的java、hadoop、scala、spark的配置环境

bash 复制代码
export JAVA_HOME=/app/openjdk-8
export HADOOP_HOME=/app/hadoop-3
export SCALA_HOME=/app/scala-2
export SPARK_HOME=/app/spark-3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin

环境变量生效

bash 复制代码
source /etc/profile

验证:

scala -version

spark-shell

5、进到/app/spark-3/conf中,复制一个文件出来

bash 复制代码
cp spark-env.sh.template spark-env.sh
bash 复制代码
export SCALA_HOME=/app/scala-3
export JAVA_HOME=/app/openjdk-8
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/app/hadoop-3/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070

6、查看spark版本

bash 复制代码
spark-submit --version

7、启动spark

bash 复制代码
cd /app/spark-3
sbin/start-all.sh

8、jps 查看是否安装成功,比如我的是这样,Worker、Master启动完,记忆证明spark和scala安装启动成功了:

bash 复制代码
19136 JobHistoryServer
18533 ResourceManager
18039 DataNode
18727 NodeManager
20584 Worker
18233 SecondaryNameNode
20681 Jps
17900 NameNode
20479 Master
相关推荐
华子w90892585914 小时前
基于 Python Django 和 Spark 的电力能耗数据分析系统设计与实现7000字论文实现
python·spark·django
无级程序员17 小时前
hive2服务启动报错:/tmp/hive on HDFS should be writable(不是chmod 777能解决的)
hive·hadoop·hdfs
小新学习屋19 小时前
Spark从入门到熟悉(篇三)
大数据·分布式·spark
Aurora_NeAr2 天前
Spark SQL架构及高级用法
大数据·后端·spark
王小王-1232 天前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
王小王-1232 天前
基于Hadoop的大规模文本词频统计分析系统设计与实现
hadoop·mapreduce·hadoop词频统计·hadoop文本统计·mapreduce词频统计
桂成林2 天前
Hive UDF 开发实战:MD5 哈希函数实现
hive·hadoop·哈希算法
王小王-1233 天前
基于Hadoop的京东厨具商品数据分析及商品价格预测系统的设计与实现
hadoop·数据分析·京东厨具·厨具分析·商品分析
谷新龙0013 天前
大数据环境搭建指南:基于 Docker 构建 Hadoop、Hive、HBase 等服务
大数据·hadoop·docker