spark-local模式

一、首先打开我们的虚拟机

二、通过finalshell连接虚拟机,连接成功后打开/opt/software,将我们的压缩文件拉到这个目录下

三、通过tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/这个命令将spark安装文件到/opt/module下。

四、重命名

通过mv spark-3.3.1-bin-hadoop3 spark-local这个命令将解压后的文件夹改成spark-local(重命名是为了后续我们还会使用其他的配置方式,所以这里先重命名一次。

五、配置环境变量

1.打开目录/etc/profile.d/my_env.sh,在最后一行输入

#配置spark 环境变量

export SPARK_HOME=/opt/module/spark-local

export PATH=PATH:SPARK_HOME/bin:$SPARK_HOME/sbin

2.然后保存,使用source /etc/profile这个命令让环境变量生效。

3.在控制台输入

spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/module/spark-local/examples/jars/spark-examples_2.12-3.1.1.jar 10

4.然后我们就会得人到下面这个结果

六、查看运行结果详情

相关推荐
淘矿人8 小时前
Claude辅助DevOps实践
java·大数据·运维·人工智能·算法·bug·devops
SeaTunnel9 小时前
AI 让 SeaTunnel 读源码和调试过时了吗?
大数据·数据库·人工智能·apache·seatunnel·数据同步
WL_Aurora10 小时前
MapReduce【Shuffle-Combiner】
大数据·mapreduce
Mortalbreeze10 小时前
深度理解文件系统 ---- 从磁盘存储到内核存储
大数据·linux·数据库
Bechamz11 小时前
大数据开发学习Day36
大数据·学习
C-200211 小时前
基于 JumpServer 容器化部署 ES 集群
大数据·elasticsearch·搜索引擎
captain_AIouo11 小时前
降本增效突围,Captain AI助力Ozon商家提升盈利空间
大数据·人工智能·经验分享·aigc
黎阳之光12 小时前
视听融合新范式!黎阳之光打破视觉边界,声影协同赋能全域智慧管控
大数据·人工智能·物联网·算法·数字孪生
iiiiyu13 小时前
集合进阶(Map集合)
java·大数据·开发语言·数据结构·编程语言
塔能物联运维13 小时前
存量机房降本增效:两相液冷技术解锁全生命周期成本优化密码
大数据·人工智能