在 Spark 中，Adaptive Query Execution (AQE) 是一个先进的查询优化特性，它能动态地调整查询计划，以便根据实际数据和执行情况进行优化。AQE 的引入是为了解决传统静态查询计划中的一些限制，特别是在数据分布和大小方面的估计误差。
AQE 的工作原理
1. 实时统计信息：
- AQE 在执行过程中收集实时统计信息，如每个阶段的输出数据大小和行数。
2. 动态调整计划：
- 基于这些实时统计信息，AQE 能够动态调整查询计划。例如，它可以在执行过程中更改 join 策略或 shuffle 分区的数量。
3. 优化 Join 策略：
- 如果初步计划中的某个 join 估计要处理的数据量远小于实际情况，AQE 可以将其从 sort-merge join 调整为 broadcast join。
4. 动态 Shuffle 分区：
- AQE 会根据 shuffle 阶段的实际数据大小动态调整分区数量，从而减少资源的浪费和提高处理效率。
5. 运行时 Skew Join 优化：
- 当 AQE 检测到数据倾斜时，它可以动态地对倾斜的键执行特殊的处理，比如将倾斜的键分到多个任务中去处理。
AQE 的优点
- 性能提升：能根据实际数据分布动态优化查询，特别是在数据大小和分布与预期不符的情况下。
- 资源利用率提高：通过减少不必要的资源分配，提高了整体资源的利用率。
- 更好的稳定性：减少了因数据倾斜或不合理的资源分配导致的失败概率。
启用 AQE
在 Spark 3.0 及更高版本中，可以通过以下配置启用 AQE：
spark.conf.set("spark.sql.adaptive.enabled", "true")
注意事项
- AQE 目前只在 Spark SQL 和 DataFrame API 中可用。
- 在某些复杂的查询情况下，AQE 的优化决策可能不如预期，需要综合评估是否启用。
- AQE 的行为和效果可能取决于具体的数据和查询类型。
总之，AQE 代表了 Spark 查询优化的一个重要方向，通过实时反馈和动态调整，提高了查询处理的效率和稳定性。