spark-local模式

一、首先打开我们的虚拟机

二、通过finalshell连接虚拟机,连接成功后打开/opt/software,将我们的压缩文件拉到这个目录下

三、通过tar -zxvf spark-3.3.1-bin-hadoop3.tgz -C /opt/module/这个命令将spark安装文件到/opt/module下。

四、重命名

通过mv spark-3.3.1-bin-hadoop3 spark-local这个命令将解压后的文件夹改成spark-local(重命名是为了后续我们还会使用其他的配置方式,所以这里先重命名一次。

五、配置环境变量

1.打开目录/etc/profile.d/my_env.sh,在最后一行输入

#配置spark 环境变量

export SPARK_HOME=/opt/module/spark-local

export PATH=PATH:SPARK_HOME/bin:$SPARK_HOME/sbin

2.然后保存,使用source /etc/profile这个命令让环境变量生效。

3.在控制台输入

spark-submit --class org.apache.spark.examples.SparkPi --master local2 /opt/module/spark-local/examples/jars/spark-examples_2.12-3.1.1.jar 10

4.然后我们就会得人到下面这个结果

六、查看运行结果详情

相关推荐
Bode_20022 小时前
基于大数据分析的全生命周期质量追溯质量评估体系落地方案
大数据·人工智能
serve the people2 小时前
Elasticsearch(1) could you tell me how to use es if i am a beginner
大数据·elasticsearch·jenkins
一个儒雅随和的男子3 小时前
Elasticsearch出现深度分页问题怎么解决?
大数据·elasticsearch·搜索引擎
AI智图坊3 小时前
多件装组合SKU图的批量生产效率分析:从PS手工到AI自动化的工作流改造
大数据·运维·人工智能·gpt·ai作画·自动化·aigc
jerryinwuhan5 小时前
面向产业带与中小企业数字化转型的电商运营人才培养模式
大数据·人工智能
Fnetlink17 小时前
企业SDWAN供应商
大数据
galaxylove7 小时前
Gartner发布创新洞察:AI SOC智能体加速通信运营商安全运营转型
大数据·人工智能·安全
甩手网软件7 小时前
Shopee2026新规:费率重构与履约收紧下,卖家如何破局?
大数据·人工智能
lizhihai_997 小时前
股市学习心得-AI 产业链核心标的梳理清单
大数据·服务器·人工智能·科技·学习
ha_lydms8 小时前
AnalyticDB分区、分布键性能优化
android·大数据·分布式·性能优化·分布式计算·分区·analyticdb