龙蜥8.9系统hadoop3.3.6上spark3.5.2安装(伪分布)

继续接着上篇的环境安装。

1、去清华的镜像源下载相关文件 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.2/

2、解压缩

bash 复制代码
tar zxvf spark-3.5.2-bin-hadoop3.tgz

3、移动到适当位置

bash 复制代码
mv spark-3.5.2-bin-hadoop3 /app/spark-3

4、下载scala

https://www.scala-lang.org/download/all.html

这个版本的spark用的是scala-2.12.18

https://www.scala-lang.org/download/2.12.18.html

linux下

https://downloads.lightbend.com/scala/2.12.18/scala-2.12.18.tgz

bash 复制代码
tar zxvf scala-2.12.18.tgz
mv scala-2.12.18 /app/scala-2

4、配置环境变量

nano /etc/profile

下面是完整的java、hadoop、scala、spark的配置环境

bash 复制代码
export JAVA_HOME=/app/openjdk-8
export HADOOP_HOME=/app/hadoop-3
export SCALA_HOME=/app/scala-2
export SPARK_HOME=/app/spark-3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin

环境变量生效

bash 复制代码
source /etc/profile

验证:

scala -version

spark-shell

5、进到/app/spark-3/conf中,复制一个文件出来

bash 复制代码
cp spark-env.sh.template spark-env.sh
bash 复制代码
export SCALA_HOME=/app/scala-3
export JAVA_HOME=/app/openjdk-8
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/app/hadoop-3/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070

6、查看spark版本

bash 复制代码
spark-submit --version

7、启动spark

bash 复制代码
cd /app/spark-3
sbin/start-all.sh

8、jps 查看是否安装成功,比如我的是这样,Worker、Master启动完,记忆证明spark和scala安装启动成功了:

bash 复制代码
19136 JobHistoryServer
18533 ResourceManager
18039 DataNode
18727 NodeManager
20584 Worker
18233 SecondaryNameNode
20681 Jps
17900 NameNode
20479 Master
相关推荐
uesowys6 小时前
Apache Spark算法开发指导-特征转换Interaction
spark·特征转换interaction
扫地的小何尚9 小时前
AI创新的火花:NVIDIA DGX Spark开箱与深度解析
大数据·人工智能·spark·llm·gpu·nvidia·dgx
B站_计算机毕业设计之家9 小时前
spark实战:python股票数据分析可视化系统 Flask框架 金融数据分析 Echarts可视化 大数据技术 ✅
大数据·爬虫·python·金融·数据分析·spark·股票
可惜我是水瓶座__9 小时前
[Spark] TaskMetrics指标收集
spark·1024程序员节
hzp6669 小时前
spark动态分区参数spark.sql.sources.partitionOverwriteMode
大数据·hive·分布式·spark·etl·partitionover
yumgpkpm13 小时前
CMP(类ClouderaCDP7.3(404次编译) )完全支持华为鲲鹏Aarch64(ARM),粉丝数超过200就开源下载
hive·hadoop·redis·mongodb·elasticsearch·hbase·big data
B站_计算机毕业设计之家2 天前
Spark微博舆情分析系统 情感分析 爬虫 Hadoop和Hive 贴吧数据 双平台 讲解视频 大数据 Hadoop ✅
大数据·hadoop·爬虫·python·数据分析·1024程序员节·舆情分析
大叔_爱编程2 天前
基于随机森林算法的Boss直聘数据分析及可视化-hadoop+django+spider
hadoop·django·1024程序员节·spider·随机森林算法·boss直聘
毕设源码-赖学姐2 天前
【开题答辩全过程】以基于Hadoop的电商数据分析系统为例,包含答辩的问题和答案
大数据·hadoop·分布式·1024程序员节
阿什么名字不会重复呢3 天前
Hadoop报错 Couldn‘t find datanode to read file from. Forbidden
大数据·hadoop·分布式