技术栈
自适应查询
流月up
2 年前
大数据
·
spark
·
aqe
·
自适应查询
·
动态调整join策略
·
brodacast join
9.spark自适应查询-AQE之动态调整Join策略
broadcast hash join 类似于 Spark 共享变量中的广播变量，Spark join 如果能采取这种策略，那join 的性能是最好的
流月up
2 年前
大数据
·
spark
·
调优
·
aqe
·
自适应查询
·
自适应调整shuffle分区数
8.spark自适应查询-AQE之自适应调整Shuffle分区数量
自适应查询执行（AQE）是 Spark SQL中的一种优化技术，它利用运行时统计信息来选择最高效的查询执行计划，自Apache Spark 3.2.0以来默认启用该计划。从Spark 3.0开始，AQE有三个主要功如下