spark client mode cluster mode 区别与选择

lianchaozhao2024-08-21 9:48

1、在我们使用spark-submit 提交spark 任务一般有以下参数

clike 复制代码

/bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

其中 deplay-mode是针对集群而言，是指集群的部署模式，根据Driver主进程放在哪的两种方式。：client和cluster，默认是client，下面我们就详细研究一下这两种模式的区别

2、spark-submit 详细参数说明

参数名参数说明

--master master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local

--deploy-mode 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client

--class 应用程序的主类，仅针对 java 或 scala 应用

--name 应用程序的名称

--jars 用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下

--packages 包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标

--exclude-packages 为了避免冲突而指定不包含的 package

--repositories 远程 repository

--conf PROP=VALUE 指定 spark 配置属性的值，

（例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"）

--properties-file 加载的配置文件，默认为 conf/spark-defaults.conf

--driver-memory Driver内存，默认 1G

--driver-java-options 传给 driver 的额外的 Java 选项

--driver-library-path 传给 driver 的额外的库路径

--driver-class-path 传给 driver 的额外的类路径

--driver-cores Driver 的核数，默认是1。在 yarn 或者 standalone 下使用

--executor-memory 每个 executor 的内存，默认是1G

--total-executor-cores 所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用

--num-executors 启动的 executor 数量。默认为2。在 yarn 下使用

--executor-core 每个 executor 的核数。在yarn或者standalone下使用

3、spark deploy model 对于程序容错的处理

在spark 程序中，task 有失败重试机制）

spark client mode cluster mode 区别 与选择

spark client mode cluster mode 区别与选择