row_number()函数与group by性能比较

1、 问题

最近项目中发现row_number()函数去重写法性能会比group by性能稍微差一些,原语句如下:

bash 复制代码
SELECT 
        COUNT(1)
FROM
        (
        WITH
                ORG AS
                (
                        SELECT
                                *
                        FROM
                                (
                                        SELECT
                                                group_code,
                                                group_name,
                                                ROW_NUMBER() OVER(PARTITION BY group_code ORDER BY NULL) RN
                                        FROM
                                                ORG_BASIS
                                       
                                        union all
                                        
                                        select
                                                '09' as group_code,
                                                group_name       ,
                                                ROW_NUMBER() OVER(PARTITION BY group_code ORDER BY NULL) RN
                                        from
                                                ORG_BASIS
                                        where
                                                group_code = '0900'
                                        
                                )
                        WHERE
                                RN = 1
                )
                
        select
                o1.group_name as pName,                                                                                                                                                           
                o2.group_name as bName  ,                                                                                                                                                           
                t1.BUREAU_CODE                                                             
        FROM
                TRAN_PLAN t1
        LEFT JOIN ORG o1
        ON
                t1.province_code = o1.group_code
        LEFT JOIN ORG o2
        ON
                t1.BUREAU_CODE = o2.group_code
                
        WHERE
                t1.PLAN_NATURE     = 1
            AND t1.POWER_GRID_FLAG = 1
            AND t1.SPECIALITY     IN (11, 12, 13)
                
            AND t1.PLAN_END_TIME  < DATEADD(YEAR, 1, TO_DATE(?, 'yyyy-mm-dd'))
            AND t1.PLAN_END_TIME >= TO_DATE(?, 'yyyy-mm-dd')
                
            AND T1.PROVINCE_CODE = ?
                
            AND T1.BUREAU_CODE = ?
                
            AND
                (
                        t1.PLAN_STATE IN (50, 60, 70, 110)
                )
                
        )
        t;

计划:

单次执行性能是正常的,但一定的压力下,热点就在窗口函数,压测情况如下:

这里平均值达5s左右。

row_number() 是一种 SQL 窗口函数,常用于对分组数据进行排序并生成唯一的行号。大白话就是排序去重。

语句中是对group_code分组生成序号取第一个。group_name和group_code是一一对应的,那么对这两列进行分组就可以满足需求。因此可以用group by替换改写。

2、改写

bash 复制代码
SELECT 
        COUNT(1)
FROM
        (
        WITH
                ORG AS
                (
                        SELECT
                                *
                        FROM
                                (
                                        SELECT
                                                group_code,
                                                max(group_name) group_name
                                       FROM
                                                ORG_BASIS
                                       
                                       group by group_code
                                        union all
                                        
                                        select
                                                '09' as group_code,
                                                max(group_name) group_name       
                                        from
                                                ORG_BASIS
                                        where
                                                group_code = '0900'
                                        group by group_code
                                        
                                )
                      
                )
                
        select
               
                o1.group_name as pName,                                                                                                                                                          
                o2.group_name as buName  ,                                                                                                                                                          
                t1.bureau_code                                                           
        FROM
                TRAN_PLAN t1
        LEFT JOIN ORG o1
        ON
                t1.province_code = o1.group_code
        LEFT JOIN ORG o2
        ON
                t1.BUREAU_CODE = o2.group_code
                
        WHERE
                t1.PLAN_NATURE     = 1
            AND t1.POWER_GRID_FLAG = 1
            AND t1.SPECIALITY     IN (11, 12, 13)
                
            AND t1.PLAN_END_TIME  < DATEADD(YEAR, 1, TO_DATE(?, 'yyyy-mm-dd'))
            AND t1.PLAN_END_TIME >= TO_DATE(?, 'yyyy-mm-dd')
                
            AND T1.PROVINCE_CODE = ?
                
            AND T1.BUREAU_CODE = ?
                
            AND
                (
                        t1.PLAN_STATE IN (50, 60, 70, 110)
                )
                
        )
        t;

计划:

压测情况

性能比较稳定。

3、小结

Row_number()函数会内部进行排序,因此比group by多了排序内存消耗,所以总的来说,能用group by替换row_number()做去重就选择group by。

相关推荐
bksczm12 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
黑十13 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend14 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend14 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
kyle~15 小时前
SQLite -- 低成本持久化能力
数据库·sqlite
上海潭龙东海科技有限公司15 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
老纪的技术唠嗑局15 小时前
OceanBase AI数据大会,我会这么逛
数据库
星恒随风15 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
草莓熊Lotso16 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构