Oracle 11g数据库与某个表的最新一笔记录进行关联

背景:最近在写Power BI的看板,而表中的数据都是上亿条记录的,各个表的关联关系非常复杂。而对于某些表,用户又只要看到最新的数据。

举个例子,比如A关联B表,正常来说看板是这样写的。

复制代码
select * from a
left join b
on a.xx = b.xx

但是实际上,用户只需要B表中,按某些字段划分的最新记录。

我就写成了这样:

复制代码
WITH C AS
 (SELECT B.*,
         ROW_NUMBER() OVER(PARTITION BY B.XXX,B.XXXXX ORDER BY B.INDATE DESC) AS rn
    FROM B )
SELECT *
FROM A
LEFT JOIN C
ON A.XX = C.XX AND C.RN = 1;

这个sql语句中用到了row_number()的窗口函数(Oracle内置函数),它根据B表中的XXX和XXXXX字段分组,然后根据B表中的INDATE进行了排序。

with c as 则是将结果集存放到内存中,建一个临时表c存储这些结果数据,然后a表直接跟c关联,c.rn = 1 就是最新的记录。

但是,由于我所在公司的数据量太大,这样跑的效率仍然很低。

于是,我改成了如下写法:

复制代码
WITH c AS (
    SELECT 
        b.xx,
        b.xxxxx,
        MAX(b.indate) AS indate
    FROM 
        scstadmin.b
    GROUP BY 
        b.xx,
        b.xxxxx
)
select * from a
left join b
on a.xx = b.xx 
and b.indate = (select indate from c where c.xx=b.xx and c.xxxxx= b.xxxxx);

这样写的好处是:

1.通过 WITH 子句 (c) 预先计算出每个 xx 最新的 indate,避免对整个表使用 ROW_NUMBER()。减少数据库对无用信息的计算次数,效率自然提升。

2.在主查询中将 b.indate 与子查询的最大时间进行匹配,从而仅选择最新的记录。

当然,语法优化只能优化一部分效率,最简单且有效的写法是对b表中的XX、XXXXX和indate字段做复合索引:(XX, XXXXX,INDATE DESC)。这可以极大地提高 ROW_NUMBER() 的性能。

一小段小记,希望可以帮到大家。

相关推荐
软件20517 分钟前
【redis使用场景——缓存——数据淘汰策略】
数据库·redis·缓存
ChinaRainbowSea29 分钟前
9-2 MySQL 分析查询语句:EXPLAIN(详细说明)
java·数据库·后端·sql·mysql
时序数据说31 分钟前
Java类加载机制及关于时序数据库IoTDB排查
java·大数据·数据库·物联网·时序数据库·iotdb
deeper_wind35 分钟前
MySQL数据库基础(小白的“升级打怪”成长之路)
linux·数据库·mysql
加勒比海涛44 分钟前
Spring Cloud Gateway 实战:从网关搭建到过滤器与跨域解决方案
数据库·redis·缓存
belldeep1 小时前
java:如何用 JDBC 连接 TDSQL 数据库
java·数据库·jdbc·tdsql
格调UI成品3 小时前
预警系统安全体系构建:数据加密、权限分级与误报过滤方案
大数据·运维·网络·数据库·安全·预警
心平愈三千疾7 小时前
通俗理解JVM细节-面试篇
java·jvm·数据库·面试
我科绝伦(Huanhuan Zhou)9 天前
Oracle|Oracle SQL*Plus 配置上下翻页功能
数据库·sql·oracle
Cachel wood9 天前
Spark教程6:Spark 底层执行原理详解
大数据·数据库·分布式·计算机网络·spark