关于 Apache Spark 的参数设置,用于优化和调整 Spark 应用程序的行为和性能

关于 Apache Spark 的参数设置,用于优化和调整 Spark 应用程序的行为和性能

下面是每个配置的简要说明:

spark.dynamicAllocation.enabled=true:启用动态资源分配,允许 Spark 根据任务需求自动调整执行器的数量。

spark.shuffle.service.enabled=false:禁用独立的 Shuffle 服务,将 Shuffle 过程合并到 Executor 中。

spark.dynamicAllocation.initialExecutors=10:初始执行器的数量,当动态资源分配启用时使用。

spark.dynamicAllocation.minExecutors=10:执行器的最小数量。

spark.dynamicAllocation.maxExecutors=500:执行器的最大数量。

spark.dynamicAllocation.executorAllocationRatio=0.5:用于执行器分配的比例,表示给每个应用程序分配的资源相对于集群中所有可用资源的比例。

spark.dynamicAllocation.executorIdleTimeout=60s:执行器空闲时自动释放的超时时间。

spark.dynamicAllocation.cachedExecutorIdleTimeout=30min:空闲缓存执行器的超时时间,该执行器可以更快地重新分配给作业。

spark.dynamicAllocation.shuffleTracking.enabled=true:启用作业的 Shuffle 动态分配跟踪。

spark.dynamicAllocation.shuffleTracking.timeout=30min:Shuffle 动态分配跟踪的超时时间。

spark.dynamicAllocation.schedulerBacklogTimeout=1s:作业调度队列中作业等待的超时时间。

spark.dynamicAllocation.sustainedSchedulerBacklogTimeout=1s:作业调度队列中连续等待的时间阈值。

spark.cleaner.periodicGC.interval=5min:垃圾回收的周期间隔。

spark.sql.adaptive.enabled=true:启用自适应查询执行,允许 Spark 在运行时动态调整查询执行计划。

spark.sql.adaptive.forceApply=false:是否强制应用自适应执行。

spark.sql.adaptive.logLevel=info:自适应执行的日志级别。

spark.sql.adaptive.advisoryPartitionSizeInBytes=256m:用于自适应执行的建议分区大小。

spark.sql.adaptive.coalescePartitions.enabled=true:启用自适应分区合并。

spark.sql.adaptive.coalescePartitions.minPartitionNum=1:分区合并的最小分区数。

spark.sql.adaptive.coalescePartitions.initialPartitionNum=8192:分区合并的初始分区数。

spark.sql.adaptive.fetchShuffleBlocksInBatch=true:在批量中获取 Shuffle 块。

spark.sql.adaptive.localShuffleReader.enabled=true:启用本地 Shuffle 读取。

spark.sql.adaptive.skewJoin.enabled=true:启用自适应倾斜连接优化。

spark.sql.adaptive.skewJoin.skewedPartitionFactor=5:用于检测倾斜分区的标准差因子。

spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes=400m:倾斜分区的阈值。

spark.sql.adaptive.nonEmptyPartitionRatioForBroadcastJoin=0.2:广播连接时的非空分区比例。

spark.sql.autoBroadcastJoinThreshold=-1:自动广播连接阈值,-1 表示禁用。

这些参数可以根据具体的需求和环境进行调整和定制,以优化 Spark 应用程序的性能和资源利用

相关推荐
bksczm13 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh14 小时前
RabbitMQ安装
分布式·rabbitmq
黑十15 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend16 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend16 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司16 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥17 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
isfox20 小时前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台21 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码1 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark