spark-local模式

一、首先打开我们的虚拟机

二、通过finalshell连接虚拟机,连接成功后打开/opt/software,将我们的压缩文件拉到这个目录下

三、通过tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/这个命令将spark安装文件到/opt/module下。

四、重命名

通过mv spark-3.3.1-bin-hadoop3 spark-local这个命令将解压后的文件夹改成spark-local(重命名是为了后续我们还会使用其他的配置方式,所以这里先重命名一次。

五、配置环境变量

1.打开目录/etc/profile.d/my_env.sh,在最后一行输入

#配置spark 环境变量

export SPARK_HOME=/opt/module/spark-local

export PATH=PATH:SPARK_HOME/bin:$SPARK_HOME/sbin

2.然后保存,使用source /etc/profile这个命令让环境变量生效。

3.在控制台输入

spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/module/spark-local/examples/jars/spark-examples_2.12-3.1.1.jar 10

4.然后我们就会得人到下面这个结果

六、查看运行结果详情

相关推荐
咸鱼求放生3 小时前
es在Linux安装
大数据·elasticsearch·搜索引擎
人大博士的交易之路4 小时前
今日行情明日机会——20250606
大数据·数学建模·数据挖掘·数据分析·涨停回马枪
Leo.yuan7 小时前
数据库同步是什么意思?数据库架构有哪些?
大数据·数据库·oracle·数据分析·数据库架构
SelectDB技术团队8 小时前
从 ClickHouse、Druid、Kylin 到 Doris:网易云音乐 PB 级实时分析平台降本增效
大数据·数据仓库·clickhouse·kylin·实时分析
Web极客码9 小时前
在WordPress上添加隐私政策页面
大数据·人工智能·wordpress
Apache Flink10 小时前
Flink在B站的大规模云原生实践
大数据·云原生·flink
itachi-uchiha11 小时前
Docker部署Hive大数据组件
大数据·hive·docker
viperrrrrrrrrr711 小时前
大数据学习(131)-Hive数据分析函数总结
大数据·hive·学习
lifallen12 小时前
Flink checkpoint
java·大数据·算法·flink
Leo.yuan14 小时前
API是什么意思?如何实现开放API?
大数据·运维·数据仓库·人工智能·信息可视化