Spark rule

Ali:

spark.celeborn.client.adaptive.optimizeLocalShuffleRead.enabled提升了200s

spark.sql.optimizer.enableMergeScalarAggsInInnerJoin=true q88提升了32s

优化空间

q67:

topn+agg

Q95:

self解关联

decimal 计算优化

q24b-v2.4

q23a-v2.4

q14a-v2.4

cte

q23b-v2.4

Agg push down through join

project push down through join

Q72: Join Order调优;

Q14: Distinct下推到Intersect之前;

相关推荐
samLi062032 分钟前
【数据集】中国杰出青年名单数据集(1994-2024年)
大数据
成长之路5141 小时前
【数据集】分地市旅游收入数据集(2000-2024年)
大数据·旅游
回家路上绕了弯1 小时前
定期归档历史数据实战指南:从方案设计到落地优化
分布式·后端
大厂技术总监下海2 小时前
用户行为分析怎么做?ClickHouse + 嵌套数据结构,轻松处理复杂事件
大数据·数据结构·数据库
大厂技术总监下海2 小时前
大数据生态的“主动脉”:RocketMQ 如何无缝桥接 Flink、Spark 与业务系统?
大数据·开源·rocketmq
2501_933670792 小时前
2026年中专大数据专业可考取的证书
大数据
oMcLin2 小时前
如何在Ubuntu 22.04 LTS上优化PostgreSQL 14集群,提升大数据查询的响应速度与稳定性?
大数据·ubuntu·postgresql
信创天地2 小时前
核心系统去 “O” 攻坚:信创数据库迁移的双轨运行与数据一致性保障方案
java·大数据·数据库·金融·架构·政务
rchmin2 小时前
Distro与Raft协议对比分析
分布式·cap
小辉笔记2 小时前
kafka原理总结
分布式·kafka