Redis实战-利用Lua解决批量插入防重方案

需求场景

一个最简单的插入需求,但是因为考虑写入性能,采用批量插入Mysql的方式,但是这引申了一个并发问题,假如网络抖动等其它原因造成了接口重复请求,批量插入情况下如何对一条条数据做好防重处理。

防重 OR 幂等

在说解决方案之前先偏题一下,因为我在起标题的时候在想防重和幂等的区别,标题用词也得精准。在查阅网上资料后,了解到 防重和幂等最主要的作用都是为了避免因为网络等原因产生重复或不符合预期的错误数据,然而两者最主要的区别:

  • 防重设计主要为了避免产生重复数据,对接口返回没有太多要求。
  • 幂等设计除了避免产生重复数据之外,还要求每次请求都返回一样的结果。

这么说的话,幂等会让调用者无感知后端对防重逻辑的处理,我们这里因为会返回"此设备重复注册"相关提示语,所以应该属于防重方案

Scripting with Lua

这段开始介绍我的防重方案,这里先介绍一下为什么用Lua,我引用了文档原文,Lua的好处简单来说在于可以做到redis命令的组合执行,但是仅仅是组合执行还不够,意味着会有Java类似的并发问题,然后强大的来了,它不仅支持命令组合执行,而且能做到原子性 ,当执行一段Lua脚本,所有Redis活动在脚本运行时期间都会被阻塞。这就很好的解决了并发问题,所以防重方案使用Lua脚本作为基础是没有问题的。其余的使用Lua能节省带宽等好处就不说了。

Redis guarantees the script's atomic execution. While executing the script, all server activities are blocked during its entire runtime. These semantics mean that all of the script's effects either have yet to happen or had already happened.

Scripting offers several properties that can be valuable in many cases. These include:

  • Providing locality by executing logic where data lives. Data locality reduces overall latency and saves networking resources.
  • Blocking semantics that ensure the script's atomic execution.
  • Enabling the composition of simple capabilities that are either missing from Redis or are too niche to be a part of it.

然后贴上核心代码:

  • deviceKeyList是当前要插入的列表,也是需要做防重方案的Key
  • Lua脚本有如下逻辑:
    • 批量对传入的Key执行保存操作(SETNX命令)。
    • 如果之前已经存在,则存入existing_keys 待返回。
    • 如果之前不存在,则保存后以后再设置过期时间(EXPIRE命令)。
    • 返回已经存在的Key列表。

等执行完后你会拿到existingKeys,里面就保存着之前已经处理过的Key,那么在操作数据库前,只需要再判断下 existingKeys 有没有这个Key,就能做好防重方案。

当然,这段代码最好能try-catch 捕捉下异常,即便Redis挂了,也不能影响主流程的执行。

text-x-java 复制代码
private String duplicateScript = "local existing_keys = {} " +
                "for i = 1, #KEYS do " +
                "    local key = KEYS[i] " +
                "    if redis.call('SETNX', key, '') == 0 then " +
                "        table.insert(existing_keys, key) " +
                "    else " +
                "        redis.call('EXPIRE', key, " + commonProperties.getDuplicateScriptSeconds() + ") " +
                "    end " +
                "end " +
                "return existing_keys";
                
// 执行 Lua 脚本
List<String> existingKeys = redissonClient.getScript(new StringCodec()).eval(
                    RScript.Mode.READ_WRITE,
                    duplicateScript,
                    RScript.ReturnType.MULTI,
                    deviceKeyList
            );

实际在生产环境使用完全没有问题,并且也兼顾了执行性能,Lua脚本更具体的使用语法可以多参照文档。

参考资料

Redis-Scripting with Lua

相关推荐
热爱编程的小曾29 分钟前
sqli-labs靶场 less 8
前端·数据库·less
THRUSTER1111138 分钟前
MySQL-- 函数(单行函数):数值函数, 字符串函数
数据库·mysql·函数·navicat·单行函数
橙序研工坊1 小时前
MySQL的进阶语法7(索引-B+Tree 、Hash、聚集索引 、二级索引(回表查询)、索引的使用及设计原则
数据库·sql·mysql
Bruce-li__1 小时前
深入理解Python asyncio:从入门到实战,掌握异步编程精髓
网络·数据库·python
小光学长1 小时前
基于vue框架的智能服务旅游管理系统54kd3(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
数据库
Bonnie_12151 小时前
07-MySQL-事务的隔离级别以及底层原理
数据库·mysql
ETLCloud数据集成社区1 小时前
ETLCloud是如何通过Oracle实现CDC的?
数据库·oracle·etl·实时数据同步
KATA~2 小时前
解决MyBatis-Plus枚举映射错误:No enum constant问题
java·数据库·mybatis
xyliiiiiL2 小时前
一文总结常见项目排查
java·服务器·数据库
shaoing2 小时前
MySQL 错误 报错:Table ‘performance_schema.session_variables’ Doesn’t Exist
java·开发语言·数据库