技术栈
executor-memory
XueminXu
7 小时前
spark
·
并行度
·
spark-submit
·
driver-memory
·
num-executors
·
executor-memory
·
executor-cores
Spark提交任务的资源配置和优化
Spark 提交任务时主要可调的资源配置参数包括 Driver 资源（内存、CPU）、Executor 资源（数量、内存、CPU）以及 集群管理相关参数。配置和优化时一般结合集群硬件资源、数据规模、作业类型和作业复杂度（SQL / 机器学习） 来综合设置。 下面是提交过程参数配置实例：
我是有底线的