龙蜥8.9系统hadoop3.3.6上spark3.5.2安装(伪分布)

继续接着上篇的环境安装。

1、去清华的镜像源下载相关文件 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.2/

2、解压缩

bash 复制代码
tar zxvf spark-3.5.2-bin-hadoop3.tgz

3、移动到适当位置

bash 复制代码
mv spark-3.5.2-bin-hadoop3 /app/spark-3

4、下载scala

https://www.scala-lang.org/download/all.html

这个版本的spark用的是scala-2.12.18

https://www.scala-lang.org/download/2.12.18.html

linux下

https://downloads.lightbend.com/scala/2.12.18/scala-2.12.18.tgz

bash 复制代码
tar zxvf scala-2.12.18.tgz
mv scala-2.12.18 /app/scala-2

4、配置环境变量

nano /etc/profile

下面是完整的java、hadoop、scala、spark的配置环境

bash 复制代码
export JAVA_HOME=/app/openjdk-8
export HADOOP_HOME=/app/hadoop-3
export SCALA_HOME=/app/scala-2
export SPARK_HOME=/app/spark-3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin

环境变量生效

bash 复制代码
source /etc/profile

验证:

scala -version

spark-shell

5、进到/app/spark-3/conf中,复制一个文件出来

bash 复制代码
cp spark-env.sh.template spark-env.sh
bash 复制代码
export SCALA_HOME=/app/scala-3
export JAVA_HOME=/app/openjdk-8
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/app/hadoop-3/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070

6、查看spark版本

bash 复制代码
spark-submit --version

7、启动spark

bash 复制代码
cd /app/spark-3
sbin/start-all.sh

8、jps 查看是否安装成功,比如我的是这样,Worker、Master启动完,记忆证明spark和scala安装启动成功了:

bash 复制代码
19136 JobHistoryServer
18533 ResourceManager
18039 DataNode
18727 NodeManager
20584 Worker
18233 SecondaryNameNode
20681 Jps
17900 NameNode
20479 Master
相关推荐
淦暴尼14 小时前
基于spark的二手房数据分析可视化系统
大数据·分布式·数据分析·spark
万能小锦鲤14 小时前
《大数据技术原理与应用》实验报告三 熟悉HBase常用操作
java·hadoop·eclipse·hbase·shell·vmware·实验报告
王小王-1231 天前
基于Hadoop与LightFM的美妆推荐系统设计与实现
大数据·hive·hadoop·大数据美妆推荐系统·美妆商品用户行为·美妆电商
一切顺势而行1 天前
hadoop 集群问题处理
大数据·hadoop·分布式
云淡风轻~~2 天前
从 CSV文件的加载、分区和处理 来理解 Spark RDD
大数据·分布式·spark
万能小锦鲤2 天前
《大数据技术原理与应用》实验报告七 熟悉 Spark 初级编程实践
hive·hadoop·ubuntu·flink·spark·vmware·实验报告
项目題供诗2 天前
Hadoop(二)
大数据·hadoop·分布式
万能小锦鲤2 天前
《大数据技术原理与应用》实验报告五 熟悉 Hive 的基本操作
hive·hadoop·ubuntu·eclipse·vmware·实验报告·hiveql
搞数据的小杰3 天前
spark广播表大小超过Spark默认的8GB限制
大数据·数据库·分布式·spark
isNotNullX3 天前
数据怎么分层?从ODS、DW、ADS三大层一一拆解!
大数据·开发语言·数据仓库·分布式·spark