多线程MySQL分页查询-性能优化

MySQL分页查询优化

https://blog.csdn.net/hollis_chuang/article/details/130570281

总结:

一、背景

  • 业务背景:给C端10万级别的用户,同时发送活动消息,活动消息分为6类。
  • 数据背景:mysql表有百万级别的数据量。
  • 问题:每次发活动消息时,数据库占用过高

二、原因

看sql日志记录,明显看出有两个问题:

  • 1 深分页
  • 2 查询条件执行了两次

explain下

type类型为 ref

三、解决

  • 原sql
sql 复制代码
select * from channel_subscribe_relation
where external_channel=9 
and template_id = "rf2624--esUKD3O5B1Qxfe15qbfAQugk-JpFVUf55BU"
and subscribe_status=1
order by id ASC
LIMIT 50000,10
  • 优化sql
sql 复制代码
SELECT * FROM channel_subscribe_relation
WHERE external_channel = 9 
  AND template_id = "dafdjlfanfdaln"
  AND subscribe_status = 1
  AND id > [Last_Page_Last_Id]
ORDER BY id ASC
LIMIT 10;

测试结果:

  • 原sql: 平均 0.1s级别

  • 优化sql:平均0.004 s

sql 复制代码
SELECT * FROM channel_subscribe_relation
WHERE external_channel = 9 
  AND template_id = "rNdk87qpBKQstZpx4hL0u1-kMCrF3phit-ySUOOt_8I"
  AND subscribe_status = 1
  AND id > 244567
ORDER BY id ASC
LIMIT 10;

综上所述,使用主键id索引替换分页查询 ,查询性能:缩短了近 25 倍。

但是,问题并没有解决!因为代码是多线程去查库的,我并不知道上次上传的 最后一页的最后一个主键id是多少!

所以,只能另辟蹊径。

经过百度,还可以通过 通过子查询优化

  • 1 把条件转移到主键索引树
  • 2- NNER JOIN 延迟关联

SELECT *

FROM channel_subscribe_relation

WHERE id >= (

SELECT c.id

FROM channel_subscribe_relation c

WHERE c.external_channel = 9

AND c.template_id = "rf2624--esUKD3O5B1Qxfe15qbfAQugk-JpFVUf55BU"

AND c.subscribe_status = 1

ORDER BY c.id ASC

LIMIT 50000, 1

)

AND external_channel = 9

AND template_id = "rf2624--esUKD3O5B1Qxfe15qbfAQugk-JpFVUf55BU"

AND subscribe_status = 1

ORDER BY id ASC

limit 10

0.05s

进一步优化:

SELECT * FROM channel_subscribe_relation

WHERE id IN (

SELECT id

FROM (

SELECT c.id

FROM channel_subscribe_relation c

WHERE c.external_channel = 9

AND c.template_id = "rf2624--esUKD3O5B1Qxfe15qbfAQugk-JpFVUf55BU"

AND c.subscribe_status = 1

ORDER BY c.id ASC

LIMIT 50000, 10

) AS t

);

四、原理探究

TODO

相关推荐
憨堡包^—^9 分钟前
Docker —— MySQL主从复制集群
mysql·docker·容器
拾光拾趣录33 分钟前
前端静态资源本地缓存:从秒开到省流量
前端·性能优化·浏览器
凉拌青瓜哈1 小时前
DVWA-LOW级-SQL手工注入漏洞测试(MySQL数据库)+sqlmap自动化注入-小白必看(超详细)
mysql·安全·网络安全
二楼后座。2 小时前
Golang操作MySQL json字段优雅写法
mysql·golang·json
lilian1293 小时前
linux系统mysql性能优化
linux·运维·mysql
小袁拒绝摆烂3 小时前
SQL开窗函数
android·sql·性能优化
betazhou3 小时前
SQL server之版本的初认知
数据库·oracle·goldengate·sql server·ogg·gdr
UestcXiye4 小时前
Rust Web 全栈开发(五):使用 sqlx 连接 MySQL 数据库
数据库·mysql·rust
未来之窗软件服务5 小时前
MySQL 中图标字符存储问题探究:使用外挂法,毕业论文——仙盟创梦IDE
数据库·mysql·毕业论文·仙盟创梦ide·东方仙盟
icecreamstorm7 小时前
MySQL索引
后端·mysql