【开源设计】京东慢SQL组件:sql-analysis

京东慢SQL组件:sql-analysis

地址:https://github.com/jd-opensource/sql-analysis

一、背景

开发中,无疑会遇到慢SQL问题,而常见的处理思路都是等上线,然后由监控报警之后再去定位对应慢SQL,随后定位问题,进行优化处理,这一出现是在慢SQL已经发生了的情况下的。

而这个 sql-analysis 开源组件是作用于 慢SQL发生之前,这种方式可以在事前尽可能地对慢SQL进行控制和处理。实现思路也很简单,就是通过Mybatis的插件机制,拦截语法分析前,以 Explain 分析结果 + 规则引擎匹配 的方式进行分析,以一种积分的判断的方式得出这个是否符合最终慢SQL的条件,符合的话进行采集,而后开发人员可以针对SQL看是否可以优化。

有了它即可:即可提前发现慢 SQL,提前做好一定的防控

像这种使用Mybatis插件机制去实现某一功能还有很多:

像我之前实现的分库分表组件,是否需要进行分表逻辑,修改SQL表的信息(对应starters地址:https://github.com/koxumeiqi/-starters- );

像Mybatis-plus对Mybatis拓展实现的插件;

像Mybatis分页插件等等...

使用的话很简单,就正常使用,然后它会拦截做一些事情就是,现在咱看一下它到底咋实现的,做了哪些事情。

二、源码简析

  1. 对语法分析阶段进行个采集:

  2. 去获取对应执行SQL的完整语句

    • 获取对应的MappedStatement,然后获取到对应的sql,这个sql是待预处理的,就是说带 ?

    • 对这个SQL进行个检查(是否分析过、是否是需要分析的类型Type、是否是黑名单里的SQL)

    • 获取到转换后的SQL,就是把?转换为了对应真实值


      • 提取出来的SQL长下面这样:
  3. 拿到提取的SQL去Explain做分析,把分析的结果封装成 List,SqlAnalysisResult里面存了我们Explain出来的各种信息

  4. 然后去拿到分析出来的结果去做评估,去打分

    • 匹配减分规则
      • 这些规则都是配的(启动的时候会解析)

随后去减分,去统计综合的分数,看是否达到了预警,达到了设个标志位为true,后续采集/输出时可以作为判别依据:

  1. 做输出/采集处理(这里默认是打印Error日志)

默认实现就是打印对应规则的原因和建议:

三、总结

总流程如下:

整体给人感觉还是很简单的,但是它确实是一个慢SQL预防的一个思路吧,而且是提前预防。

相关推荐
东方佑3 小时前
MA-RMSNorm:打破“缩放换智能”的魔咒,大模型归一化的一次范式革命!
数据库·人工智能·计算机视觉
云和恩墨4 小时前
「云帆计划·长沙站」活动成功举办,云和恩墨与紫薇垣和湖南金悦科技分别签约并授牌,本地伙伴生态建设加速
数据库·科技
huahailing10244 小时前
Spring Boot 集成 XXL-Job 完整实现方案(支持动态CRUD)
java·spring boot·后端
薛定谔的猫-菜鸟程序员4 小时前
基于 Electron 的本地短视频解析与下载工具:架构设计与工程实践
java·electron·音视频
千维百策6665 小时前
如何管理错误预算:提升服务可靠性与 SLO 达成率的实践经验
服务器·网络·数据库
IT界的老黄牛5 小时前
PostgreSQL 常用命令速查:MySQL 用户平滑上手,psql 元命令 + 库表管理 + 运维排查一篇通
sql·postgresql·psql·数据库运维·命令速查·mysql 对比
音符犹如代码5 小时前
Arthas Profiler 火焰图实战:CPU 热点在哪一目了然
java·jvm·spring boot
小园子的小菜5 小时前
Java 并发编程:线程安全队列全解 —— 阻塞与非阻塞实现原理及源码深度剖析
java·开发语言
好好沉淀5 小时前
Windows 下升级 Maven 3.6.1 到 3.9.9 踩坑全记录
java·windows·maven
CodexDave6 小时前
Python 自动化接单实战(一):把 CSV 需求做成配置驱动解析器
java·python·自动化·json·数据清洗·python自动化·csv处理