多线程MySQL分页查询-性能优化

MySQL分页查询优化

https://blog.csdn.net/hollis_chuang/article/details/130570281

总结:

一、背景

  • 业务背景:给C端10万级别的用户,同时发送活动消息,活动消息分为6类。
  • 数据背景:mysql表有百万级别的数据量。
  • 问题:每次发活动消息时,数据库占用过高

二、原因

看sql日志记录,明显看出有两个问题:

  • 1 深分页
  • 2 查询条件执行了两次

explain下

type类型为 ref

三、解决

  • 原sql
sql 复制代码
select * from channel_subscribe_relation
where external_channel=9 
and template_id = "rf2624--esUKD3O5B1Qxfe15qbfAQugk-JpFVUf55BU"
and subscribe_status=1
order by id ASC
LIMIT 50000,10
  • 优化sql
sql 复制代码
SELECT * FROM channel_subscribe_relation
WHERE external_channel = 9 
  AND template_id = "dafdjlfanfdaln"
  AND subscribe_status = 1
  AND id > [Last_Page_Last_Id]
ORDER BY id ASC
LIMIT 10;

测试结果:

  • 原sql: 平均 0.1s级别

  • 优化sql:平均0.004 s

sql 复制代码
SELECT * FROM channel_subscribe_relation
WHERE external_channel = 9 
  AND template_id = "rNdk87qpBKQstZpx4hL0u1-kMCrF3phit-ySUOOt_8I"
  AND subscribe_status = 1
  AND id > 244567
ORDER BY id ASC
LIMIT 10;

综上所述,使用主键id索引替换分页查询 ,查询性能:缩短了近 25 倍。

但是,问题并没有解决!因为代码是多线程去查库的,我并不知道上次上传的 最后一页的最后一个主键id是多少!

所以,只能另辟蹊径。

经过百度,还可以通过 通过子查询优化

  • 1 把条件转移到主键索引树
  • 2- NNER JOIN 延迟关联

SELECT *

FROM channel_subscribe_relation

WHERE id >= (

SELECT c.id

FROM channel_subscribe_relation c

WHERE c.external_channel = 9

AND c.template_id = "rf2624--esUKD3O5B1Qxfe15qbfAQugk-JpFVUf55BU"

AND c.subscribe_status = 1

ORDER BY c.id ASC

LIMIT 50000, 1

)

AND external_channel = 9

AND template_id = "rf2624--esUKD3O5B1Qxfe15qbfAQugk-JpFVUf55BU"

AND subscribe_status = 1

ORDER BY id ASC

limit 10

0.05s

进一步优化:

SELECT * FROM channel_subscribe_relation

WHERE id IN (

SELECT id

FROM (

SELECT c.id

FROM channel_subscribe_relation c

WHERE c.external_channel = 9

AND c.template_id = "rf2624--esUKD3O5B1Qxfe15qbfAQugk-JpFVUf55BU"

AND c.subscribe_status = 1

ORDER BY c.id ASC

LIMIT 50000, 10

) AS t

);

四、原理探究

TODO

相关推荐
知其然亦知其所以然1 小时前
MySQL 社招必考题:如何优化查询过程中的数据访问?
后端·mysql·面试
DemonAvenger3 小时前
NoSQL与MySQL混合架构设计:从入门到实战的最佳实践
数据库·mysql·性能优化
程序新视界3 小时前
如何在MySQL中创建聚集索引?
mysql
AAA修煤气灶刘哥14 小时前
后端人速藏!数据库PD建模避坑指南
数据库·后端·mysql
程序新视界15 小时前
学习MySQL绕不开的两个基础概念:聚集索引与非聚集索引
mysql
RestCloud18 小时前
跨境数据传输:ETL如何处理时区与日期格式差异
mysql·api
得物技术21 小时前
MySQL单表为何别超2000万行?揭秘B+树与16KB页的生死博弈|得物技术
数据库·后端·mysql
xiaok1 天前
mysql中怎么创建一个可控权限数据库账号密码给到开发者
mysql
ByteBlossom1 天前
MySQL 面试场景题之如何处理 BLOB 和CLOB 数据类型?
数据库·mysql·面试
玉衡子1 天前
九、MySQL配置参数优化总结
java·mysql