头歌：Spark任务提交

空心木偶☜2024-05-03 10:52

第1关：spark-submit提交

任务描述

相关知识

为了完成本关任务，你需要掌握：1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。

课程视频《spark-submit提交》

spark-submit参数

使用格式：

复制代码

./bin/spark-submit
  --class
  --master
  --deploy-mode
  --conf
  ... # other options
  application-jar

计算圆周率

复制代码

cd /opt/spark/dist/bin
./spark-submit 
--master local 
--class org.apache.spark.examples.SparkPi
/opt/spark/dist/examples/jars/spark-examples_2.11-2.2.0.jar
./spark-submit --master 本地模式 --class 程序运行的主类名 xxx.jar

编程要求

根据提示，在右侧编辑器补充代,将程序提交到spark上执行。

测试说明

平台会对你编写的代码进行测试：

jar包所在位置：

/root/project.jar

(点击测评的时候root目录下会有project.jar)

主类：Student

提交模式：local

预期输出：

(bj,88)(sh,67)(gz,92).

复制代码

#!/bin/bash

cp -r  Spark/SparkRDD/target/project.jar /root
cd /opt/spark/dist/bin
#********** Begin **********#

./spark-submit \
--master local \
--class Student \
/root/project.jar


#********** End **********#

这段脚本首先将 project.jar 复制到 /root 目录下，然后切换到 /opt/spark/dist/bin 目录。在 begin 和 end 之间，使用 spark-submit 命令提交 Spark 程序，其中 --master local 指定了本地模式，--class Student 指定了主类为 Student，最后指定了 jar 包的路径为 /root/project.jar。