搭建spark-local模式

(一)安装Spark

安装Spark的过程就是下载和解压的过程。接下来的操作,我们把它上传到集群中的节点,并解压运行。

1.启动虚拟机

2.通过finalshell连接虚拟机,并上传安装文件到 /opt/software下

3.解压spark安装文件到/opt/module下

复制代码
tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/

4.重命名,把解压后的文件夹改成spark-local。因为后续我们还会使用其他的配置方式,所以这里先重命名一次。mv是linux的命令,

复制代码
mv spark-3.3.1-bin-hadoop3 spark-local

(二)配置环境变量

1.打开etc/profile.d/my_env.sh文件中,补充设置spark的环境变量。

复制代码
# 省略其他...
# 添加spark 环境变量
export SPARK_HOME=/opt/module/spark-local
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

2.使用 source /etc/profile 命令让环境变量生效

(三)单机模式运行第一个Spark程序

这里使用单机模式快运行第一个Spark程序,让大家有个基本的印象。在安装Spark时,它就提供了一些示例程序,我们可以直接来调用。进入到spark-local,运行命令spark-submit命令。

复制代码
spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/module/spark-local/examples/jars/spark-examples_2.12-3.1.1.jar 10
或者写成

$ cd /opt/module/spark-local
$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.3.1.jar \
10

这里的 \ 是换行输入的意思,整体的代码就只有一句,只不过太长了,我们把它拆开成几个部分来输入,其中\ 的意思就是这里写不下,写在下一行。

结果展示

该算法是利用蒙特·卡罗算法求PI的值,具体运行效果如下。请注意,它并不会产生新的文件,而是直接在控制台输出结果。

(四)查看运行任务详情

在任务还处于运行状态时,可以通过hadoop100:4040来查看。请注意,一旦任务结束,则这个界面就不可访问了。

相关推荐
vx_dmxq2113 分钟前
免费领源码-Spring boot的物流管理系统 |可做计算机毕设Java、Python、PHP、小程序APP、C#、爬虫大数据、单片机、文案
java·大数据·python·jupyter·课程设计
酷柚易汛智推官14 分钟前
三大调度方案深度对比:AI/超算/大数据场景如何选?
大数据·人工智能
搞科研的小刘选手32 分钟前
【学术会议合集】2025-2026年地球科学/遥感方向会议征稿信息
大数据·前端·人工智能·自动化·制造·地球科学·遥感测绘
wdfk_prog1 小时前
`git rm --cached`:如何让文件“脱离”版本控制
大数据·linux·c语言·笔记·git·学习·elasticsearch
2501_929382652 小时前
ES-DE 前端模拟器最新版 多模拟器游戏启动器 含游戏ROM整合包 最新版
大数据·elasticsearch·游戏
JSBSK24862 小时前
广州途道信息科技有限公司:以创新与责任,铸就教育机器人领军品牌
大数据·科技·机器人
Lansonli2 小时前
大数据Spark(六十四):Spark算子介绍
大数据·分布式·spark
weixin_lynhgworld4 小时前
淘宝扭蛋机小程序的社交化运营策略
大数据·小程序·扭蛋机
ZHOU_WUYI4 小时前
supabase 实现聊天板(Chat Board)
大数据·可视化
Hello.Reader4 小时前
Flink 架构组件、任务链路、Slot 资源与集群形态
大数据·架构·flink