Redis实战-利用Lua解决批量插入防重方案

需求场景

一个最简单的插入需求,但是因为考虑写入性能,采用批量插入Mysql的方式,但是这引申了一个并发问题,假如网络抖动等其它原因造成了接口重复请求,批量插入情况下如何对一条条数据做好防重处理。

防重 OR 幂等

在说解决方案之前先偏题一下,因为我在起标题的时候在想防重和幂等的区别,标题用词也得精准。在查阅网上资料后,了解到 防重和幂等最主要的作用都是为了避免因为网络等原因产生重复或不符合预期的错误数据,然而两者最主要的区别:

  • 防重设计主要为了避免产生重复数据,对接口返回没有太多要求。
  • 幂等设计除了避免产生重复数据之外,还要求每次请求都返回一样的结果。

这么说的话,幂等会让调用者无感知后端对防重逻辑的处理,我们这里因为会返回"此设备重复注册"相关提示语,所以应该属于防重方案

Scripting with Lua

这段开始介绍我的防重方案,这里先介绍一下为什么用Lua,我引用了文档原文,Lua的好处简单来说在于可以做到redis命令的组合执行,但是仅仅是组合执行还不够,意味着会有Java类似的并发问题,然后强大的来了,它不仅支持命令组合执行,而且能做到原子性 ,当执行一段Lua脚本,所有Redis活动在脚本运行时期间都会被阻塞。这就很好的解决了并发问题,所以防重方案使用Lua脚本作为基础是没有问题的。其余的使用Lua能节省带宽等好处就不说了。

Redis guarantees the script's atomic execution. While executing the script, all server activities are blocked during its entire runtime. These semantics mean that all of the script's effects either have yet to happen or had already happened.

Scripting offers several properties that can be valuable in many cases. These include:

  • Providing locality by executing logic where data lives. Data locality reduces overall latency and saves networking resources.
  • Blocking semantics that ensure the script's atomic execution.
  • Enabling the composition of simple capabilities that are either missing from Redis or are too niche to be a part of it.

然后贴上核心代码:

  • deviceKeyList是当前要插入的列表,也是需要做防重方案的Key
  • Lua脚本有如下逻辑:
    • 批量对传入的Key执行保存操作(SETNX命令)。
    • 如果之前已经存在,则存入existing_keys 待返回。
    • 如果之前不存在,则保存后以后再设置过期时间(EXPIRE命令)。
    • 返回已经存在的Key列表。

等执行完后你会拿到existingKeys,里面就保存着之前已经处理过的Key,那么在操作数据库前,只需要再判断下 existingKeys 有没有这个Key,就能做好防重方案。

当然,这段代码最好能try-catch 捕捉下异常,即便Redis挂了,也不能影响主流程的执行。

text-x-java 复制代码
private String duplicateScript = "local existing_keys = {} " +
                "for i = 1, #KEYS do " +
                "    local key = KEYS[i] " +
                "    if redis.call('SETNX', key, '') == 0 then " +
                "        table.insert(existing_keys, key) " +
                "    else " +
                "        redis.call('EXPIRE', key, " + commonProperties.getDuplicateScriptSeconds() + ") " +
                "    end " +
                "end " +
                "return existing_keys";
                
// 执行 Lua 脚本
List<String> existingKeys = redissonClient.getScript(new StringCodec()).eval(
                    RScript.Mode.READ_WRITE,
                    duplicateScript,
                    RScript.ReturnType.MULTI,
                    deviceKeyList
            );

实际在生产环境使用完全没有问题,并且也兼顾了执行性能,Lua脚本更具体的使用语法可以多参照文档。

参考资料

Redis-Scripting with Lua

相关推荐
埃泽漫笔17 小时前
Redis的List数据结构底层实现
redis·list
viperrrrrrrrrr717 小时前
milvus向量数据库
数据库·大模型·llm·milvus
白衣鸽子18 小时前
MySql数据库同步技术:构建高可用架构的基石
数据库·后端
不良人天码星18 小时前
redis的事务,以及watch的原理
数据库·redis·缓存
懂得节能嘛.18 小时前
【动态配置中心】Java+Redis构建动态配置中心
java·开发语言·redis
韩立学长18 小时前
基于微信小程序的公益捐赠安全平台9hp4t247 包含完整开发套件(程序、源码、数据库、调试部署方案及开发环境)系统界面展示及获取方式置于文档末尾,可供参考。
数据库·微信小程序·小程序
智能化咨询18 小时前
SQL之参数类型讲解——从基础类型到动态查询的核心逻辑
数据库·oracle
doris820418 小时前
使用Yum安装Redis
数据库·redis·缓存
有一个好名字18 小时前
万字 Apache ShardingSphere 完全指南:从分库分表到分布式数据库生态
数据库·分布式·apache
Boilermaker199219 小时前
【Redis】哨兵与对脑裂的情况分析
数据库·redis·缓存