Spark,集群搭建-Standalone

集群搭建-Standalone

一、解压

在之前的学习中我们有了一个软件包 spark.3.1.2-bin-hadoop3.2.tgz (eg我的在 /opt/software目录下)把这个软件包解压到 /opt/module 下(也可以自己决定解压到哪里)。对应的命令是:

tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module

二、重命名

进入 /opt/module/ 把解压的内容右键重命名一下为 spark-standalone ,也可使用命令:

mv spark-3.1.1-bin-hadoop3.2/ spark-standalone

三、配置环境变量,更新spark路径

打开 /etc/profile.d/my_env.sh 加入如下代码

四、同步环境变量,并使用source命令让它生效

root@hadoop100 \~# xsync /etc/profile.d

五、修改配置文件

打开 /opt/module/spark-standalone/conf 中可看到修改文件内容前把 .template 后缀名都删掉再打开
workers.template文件 内容设置为三个主机名

复制代码
hadoop100
hadoop101
hadoop102

spark-env.sh.template文件

复制代码
export JAVA_HOME=/opt/module/jdk1.8.0_212
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export SPARK_MASTER_IP=hadoop100
export SPARK_MASTER_PORT=7077
export SPARK_DIST_CLASSPATH=$(/opt/module/hadoop-3.1.3/bin/hadoop classpath)
export HADOOP_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop
export SPARK_YARN_USER_ENV="CLASSPATH=/opt/module/hadoop-3.1.3/etc/hadoop"
export YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop100:8020/directory
-Dspark.history.retainedApplications=30
"

spark-defaults.conf.****template文件****

复制代码
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop100:8020/directory

spark.yarn.historyServer.address=hadoop100:18080
spark.history.ui.port=18080

六、启动SPARK集群。

进入到hadoop100机器,切换目录到/opt/module/spark-standalone/sbin下,运行命令 ./start-all.sh。

使用jps命令能看到我划线的就说明运行成功

七、查看启动结果

打开浏览器,输入hadoop100:8080。看到效果如下说明成功:

相关推荐
大大大大晴天13 小时前
每天认识一个组件:VictoriaLogs
大数据
jaysee-sjc15 小时前
【黑马点评】Day02:优惠券秒杀与分布式锁
java·分布式·nginx·spring·node.js·tomcat·maven
学长毕设16 小时前
基于SpringBoot 博物馆文物租赁及修复管理系统-附源码
大数据·数据库·spring boot
玖米GEO运营王总监18 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
龙腾AI白云19 小时前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
starzy19901 天前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天1 天前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界2 天前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天2 天前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城2 天前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes