【spark认任务提交】配置优先级顺序

配置优先级顺序

1. Spark-submit 命令行参数 (最高优先级)
2. 代码中通过 SparkConf 设置的参数 (在应用程序中直接设置)
3. spark-defaults.conf 文件中的配置

实际应用中的建议

1. 固定配置 ：将集群级别的默认配置放在 spark-defaults.conf 中
2. 应用特定配置：将应用特定的配置放在代码中（SparkConf）
3. 临时覆盖 ：使用 spark-submit 命令行参数进行临时覆盖或调试