技术栈
aqe
智码看视界
10 天前
大数据
·
spark
·
性能调优
·
aqe
·
sparksql
·
数据倾斜
·
etl优化
Spark 3.5 AQE 调优：10 个生产环境案例让作业提速 3-10 倍
Spark 2.x 的查询执行计划是静态的——在作业提交时就确定了全部执行计划，基于的是统计信息估算，而非真实数据。
流月up
3 年前
大数据
·
spark
·
aqe
·
自适应查询
·
动态调整join策略
·
brodacast join
9.spark自适应查询-AQE之动态调整Join策略
broadcast hash join 类似于 Spark 共享变量中的广播变量，Spark join 如果能采取这种策略，那join 的性能是最好的
流月up
3 年前
大数据
·
spark
·
调优
·
aqe
·
自适应查询
·
自适应调整shuffle分区数
8.spark自适应查询-AQE之自适应调整Shuffle分区数量
自适应查询执行（AQE）是 Spark SQL中的一种优化技术，它利用运行时统计信息来选择最高效的查询执行计划，自Apache Spark 3.2.0以来默认启用该计划。从Spark 3.0开始，AQE有三个主要功如下
我是有底线的