技术栈
自适应调整shuffle分区数
流月up
1 年前
大数据
·
spark
·
调优
·
aqe
·
自适应查询
·
自适应调整shuffle分区数
8.spark自适应查询-AQE之自适应调整Shuffle分区数量
自适应查询执行（AQE）是 Spark SQL中的一种优化技术，它利用运行时统计信息来选择最高效的查询执行计划，自Apache Spark 3.2.0以来默认启用该计划。从Spark 3.0开始，AQE有三个主要功如下