Spark rule

Ali:

spark.celeborn.client.adaptive.optimizeLocalShuffleRead.enabled提升了200s

spark.sql.optimizer.enableMergeScalarAggsInInnerJoin=true q88提升了32s

优化空间

q67:

topn+agg

Q95:

self解关联

decimal 计算优化

q24b-v2.4

q23a-v2.4

q14a-v2.4

cte

q23b-v2.4

Agg push down through join

project push down through join

Q72: Join Order调优;

Q14: Distinct下推到Intersect之前;

相关推荐
Query*2 小时前
分布式消息队列kafka【五】—— kafka海量日志收集实战
分布式·kafka
serendipity_hky4 小时前
【SpringCloud | 第5篇】Seata分布式事务
分布式·后端·spring·spring cloud·seata·openfeign
老蒋新思维5 小时前
创客匠人视角:智能体重构创始人 IP,知识变现从 “内容售卖” 到 “能力复制” 的革命
大数据·网络·人工智能·tcp/ip·创始人ip·创客匠人·知识变现
梦里不知身是客115 小时前
RDD分区的设定规则
spark
笨蛋少年派6 小时前
Flume数据采集工具简介
大数据
梦里不知身是客116 小时前
spark中如何调节Executor的堆外内存
大数据·javascript·spark
小C8066 小时前
【Starrocks + Hive 】BitMap + 物化视图 实战记录
大数据
lang201509288 小时前
Kafka元数据缓存机制深度解析
分布式·缓存·kafka
西格电力科技8 小时前
面向工业用户的绿电直连架构适配技术:高可靠与高弹性的双重设计
大数据·服务器·人工智能·架构·能源