想要限制每次查询的结果集不能超过10000行,该如何实现?

实践出真知,欢迎关注我的公众号:Hoeller

对于一些Saas化软件,当某个租户在执行查询SQL时,如果查询条件出现了BUG,导致去查了所有租户的数据,这种情况是非常严重的,此时就需要在架构层面做限制,禁止一些特殊SQL的执行,另外,为了保护数据库,也可能会限制某些查询语句不要查询太多的数据,那么怎样在平台架构层面对业务层的SQL做拦截和校验呢?本文分享一下我司的做法。

我们集团里有的项目用的Mybatis,有的项目用的Spring Data JPA,共同点在于都用的Druid连接池,所以可以在Druid层面做SQL的拦截和校验。

Druid提供了FilterEventAdapter机制,可以用来拦截数据库连接的创建、Statement或PreparedStatement的创建、SQL语句的执行等等,我们可以自定义一个FilterEventAdapter:

其中statementExecuteQueryBefore()方法表示在执行某个查询语句前的拦截点,preparedStatement_executeQuery()方法表示执行查询语句的地方,比如正常情况下preparedStatement_executeQuery()方法顺利执行的话就会得到ResultSetProxy,可以理解为就是ResultSet,也就代表查询结果集。

所以如果我们想做查询语句的拦截,这两个方法都可以做到,回到文章题目:想要限制每次查询的结果集不能超过10000行,该如何实现?我这里给两种不同的实现方式。

对于某一个查询SQL,我们首先得知道这个SQL将会查出多少条数据,那就得把该查询SQL,比如select a,b,c from t where a=1,改造成为select count(1) from t where a=1,执行改造后的count语句就能知道原始SQL会查出多少条记录了。

我这里提供一个方法,能够把简单的select语句改造为count语句(原谅我不能把公司内部的代码贴出来~~~)

然后,我们就能在statementExecuteQueryBefore()方法中做拦截判断了:

这种方式的好处是:如果某个查询SQL确实超过限制了,那么就它被拦截了,但是缺点是:如果很多SQL并没有超过限制,那么就多余执行了count语句,降低了性能。

那么我们来看看第二种方案,这种方法重写的是preparedStatement_executeQuery方法,思路是:先执行原始SQL,得到ResultSet,然后通过ResultSet来判断结果集是否超过了限制,如果超过了限制则告警,比如代码为:

这种方案和第一种方案的优缺点正好相反,优点是:没有额外执行count语句,缺点是:如果查询语句确实超过了限制只能事后告警了。

这两种方案似乎鱼和熊掌不可兼得,大家觉得哪个方案更好呢?

我是大都督,之前是一名讲师,现在是一名架构师,实践才能出真知,这是我重回一线的原因!如果大家觉得有所收获,可以关注我的公众号:Hoeller,里面也有我的联系方式,欢迎勾搭。

记得点赞、收藏、分享哦!

相关推荐
OnlineProxy2 小时前
企业级代理服务器架构:合规性、NDA 诚信与灰色 P2P 网络风险防范
网络·架构·p2p
明月_清风8 小时前
Muse 登顶 App Store 第一,SDK 直接开源:AI Agent 开始进入下一个阶段
人工智能·后端
leikooo8 小时前
用餐厅和盘子理解栈和堆
java·数据结构·链表·rust
weixin_307779139 小时前
有限产能智能排产与动态重排智能体:从需求解构到技术实现
开发语言·人工智能·算法·架构
Ivanqhz9 小时前
激活函数在 Transformer 中的作用及各种变体简述
java·linux·数据库·人工智能·深度学习
沙漠之主10 小时前
C++编程教学设计资料:从入门到实战的完整课程方案
java·前端·c++
FPGA小徐10 小时前
PA1 基础设施(2)深度解析:NEMU 中 ITRACE、MTRACE、FTRACE、IRINGBUF、ETRACE、DIFFTEST 全解析
java·服务器·网络
YOLO数据集集合11 小时前
EvoAgent:面向PR研发治理的自进化Multi-Agent Harness系统
java·开发语言·目标检测·agent·自进化
hsfxuebao11 小时前
Loop Engineering 保姆级教程 + 项目实战
人工智能·后端
知行EDI11 小时前
知行之桥 MaBang 端口使用指南——Create Order 订单创建篇
java·服务器·数据库