Spark学习——不同模式下执行脚本

举个简单的例子:使用spark官方用例"取pi值"

一、local模式

进入spark目录执行后台命令:

powershell 复制代码
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[*] \
./examples/jars/spark-examples_2.12-3.2.1.jar \
10

运行结果

二、yarn模式

由于默认情况下,Spark作业只有在运行是可以通过web UI进行查看执行情况,任务一旦执行完,就看不了了,所以为了避免这种情况,我们通过配置历史进程将历史记录保存起来,仍可以在spark上查看。
【注意】:hadoop 3.0 端口号8020要改为 9000

1、配置spark-default.conf

spark.eventLog.enabled true

spark.eventLog.dir hdfs://hadoop100:9000/directory

spark.yarn.historyServer.address=hadoop100:18080

spark.history.ui.port=18080

2、配置spark-env.sh

export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080

-Dspark.history.fs.logDirectory=hdfs://hadoop100:9000/directory

-Dspark.history.retainedApplications=30"

3、开启历史进程

sbin/start-history-server.sh

进入spark目录执行后台命令:

powershell 复制代码
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.2.1.jar \
10

控制台运行结果:

可以通过yarn上的历史记录查到spark的执行记录

会自动跳转到spark的界面,更方便

相关推荐
虾球xz2 分钟前
游戏引擎学习第246天:将 Worker 上下文移到主线程创建
c++·学习·游戏引擎
蓝莓味柯基16 分钟前
DevOps:概念与学习路径
运维·学习·devops
赏你个麻辣烫儿19 分钟前
机器学习学习笔记
笔记·学习
24k小善23 分钟前
FlinkSql入门与实践
java·大数据·flink·云计算
天哥-天行健23 分钟前
Trae+DeepSeek学习Python开发MVC框架程序笔记(一):1个程序实现MVC
学习·mvc
Leo.yuan23 分钟前
产销协同的作用是什么?又如何对各部门发挥作用?
大数据·信息可视化·数据分析·需求分析·企业数字化
帅帅的Python30 分钟前
2015-2023 各省 GDP 数据,用QuickBI 进行数据可视化——堆叠图!
大数据·人工智能
数据与人工智能律师1 小时前
正确应对监管部门的数据安全审查
大数据·网络·数据库·人工智能·区块链
LVerrrr2 小时前
Missashe考研日记-day27
学习·考研
Aloudata技术团队2 小时前
Aloudata Agent 36 问,深度解惑!
大数据·数据分析·数据可视化