spark-submit 常用方式

1 、local 模式提交

在本地机器上使用2个CPU核心，以并行方式运行名为 spark-python.py 的 PySpark 应用程序

spark-submit --master local[2] spark-python.py

更完整的提交命令示例

spark-submit \
  --master local[2] \
  --name "MySparkApp" \
  --executor-memory 2g \
  --driver-memory 1g \
  spark-python.py

2、集群模式提交

将 spark-python.py 这个 PySpark 应用程序提交到位于 node03:7077 的 Spark 集群上，在多个工作节点上分布式并行执行"

spark-submit --master spark://node03:7077 spark-python.py

带更多配置的集群提交

spark-submit \
  --master spark://node03:7077 \
  --executor-memory 2g \
  --total-executor-cores 4 \
  --name "ProductionJob" \
  spark-python.py