redis工具集之基于zset设计的延迟队列方案

代码仓库

gitee: gitee.com/listen_w/re...

github: github.com/jettwangcj/...

背景

我司现有业务中有很多场景需要使用延迟队列,之前开发了一个基于 redisson + kafka的延迟队列设计方案,设计思路参考博文基于 Redisson 和 Kafka 的延迟队列设计方案

但是有同学使用过程中发现这个延迟队列组件有BUG,具体是消息丢失。

所以,需要有其他延迟队列方案来替换,目前调研之后有以下两个思路:

  1. 接入新的支持延迟队列消息的消息中间件,例如: Rocketmq。
  2. 自研一个延迟队列组件,例如:基于 ZSET 实现。

使用方式

  1. 引入依赖

    xml 复制代码
    <dependency>
        <groupId>cn.org.wangchangjiu</groupId>
        <artifactId>redis-util-spring-boot-starter</artifactId>
        <version>1.0.1-SNAPSHOT</version>
    </dependency>
  2. 开启配置

  3. 发送延迟消息

  4. 接收延迟消息

    1. 自动ACK,方法上增加 @RedisDelayMessageListener 注解,topic 和发送的topic对应,值得注意的事,自动ACK只能是一个参数,参数就是所需要接收的消息实体。

    2. 手动ACK,方法上增加 @RedisDelayMessageListener 注解,topic 和发送的topic对应,值得注意的事,手动ACK必须是两个参数,第一个参数是所需要接收的消息实体,第二个参数固定是 Acknowledgment,当执行完方法是或者有需要时通过 acknowledgment.acknowledge() 手动提交ACK,如果未提交ACK,那么过一段时间(时间可配置),该消息会被重新投递到延迟队列中。

设计方案流程图

重点流程说明

  1. 服务启动后会启动三个线程组:boss 线程池、worker线程池、back线程池;

    Boss 线程每隔500毫秒(可配置)周期性发布获取延迟消息的任务;

    worker线程根据不同的topic去获取延迟消息,如果获取到延迟消息,那么反射调用目标方法执行,执行成功自动/手动ACK消息;

    back线程每隔5秒(可配置)周期性检查是否有未提交ACK的消息,如果有,则重新投递到延迟队列中;

  2. 服务启动后,boss 线程会发布批量获取延迟消息的任务,worker线程执行任务,批量获取延迟消息,这么做的原因是,怕服务宕机或者重启时,大量延迟消息未消费,所以一次性批量消费。

  3. 发送延迟消息过程:

    • 添加消息元数据,元数据存储在 hash数据结构中,key : task_meta_data:{service} (service为服务名称)

    • 将消息ID添加到 ZSET数据结构中,value为MessageID,score为 当前时间戳+过期时间

实现细节

整体概论

核心Bean 简介

DelayQueueAutoConfiguration:延迟队列自动装配Bean。

DelayQueueMessageProducer:延迟消息发送器。

DelayQueueMessageConsumer :延迟消息消费者,该Bean实现了 BeanPostProcessor 接口,主要作用是,获取被注解 @RedisMessageListener 修饰的方法,把信息封装在 RedisDelayMessageConsumerContainer对象里,方便后面反射调用。

DelayQueue:延迟队列,发送消息/获取消息/提交 ACK 核心处理类,该类封装了 redis + lua的脚本,通过调用lua脚本处理redis延迟消息;

服务启动以及发送消息调用过程

以上流程介绍

  1. 容器启动时主要操作如下:

    • 检查哪些Bean的方法上有注解@RedisDelayMessageListener标注的,封装目标方法信息,用于反射调用;如下图:会将以下方法信息封装到 RedisDelayMessageConsumerContainer 对象里。 实现代码:

    • 启动三个线程组,boss 线程池、worker线程池、back线程池

      • Boss 线程每隔500毫秒(可配置)周期性发布获取延迟消息的任务;

      • worker线程根据不同的topic去获取延迟消息,如果获取到延迟消息,那么反射调用目标方法执行,执行成功自动/手动ACK消息;

      • back线程每隔5秒(可配置)周期性检查是否有未提交ACK的消息,如果有,则重新投递到延迟队列中;

  2. 发送消息

    生成消息ID(UUID),调用lua脚本添加消息

  3. 获取消息

  1. 检查ACK

不足之处

当没有延迟消息,或者延迟消息延迟时间过长时,会导致很多空轮询检查消息,浪费性能。

推荐环节

推荐自己开发的两款插件:

  1. SQLToMongo 这是一款能将SQL查询语句翻译成Mongo语法的插件;

  2. Table2Entity 这是一款代码生成插件,通过建表语句可以生成jpa实体和repository,以及生成Mybatis实体和mapper;

源码 :

gitee: gitee.com/listen_w/pr...

github: github.com/jettwangcj?...

相关推荐
时间的拾荒人16 小时前
Redis Cluster 集群详解:分片算法、搭建、故障处理与扩容实战
数据库·redis·算法·集群
IT规划师1 天前
Redis 核心机制 | 键生命周期与 TTL 管理
redis·.net
Star(up up up)2 天前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
2501_933923252 天前
redis:string类型常见命令
数据库·redis·缓存
黄连木笛2 天前
不改 Redis Insight 原有代码,把它汉化了:DOM 整段匹配 + XHR 拦截 + asar 重打包
redis·后端
时间的拾荒人2 天前
Redis 哨兵(Sentinel)详解:原理、选举机制与实战部署
redis·面试·架构·sentinel
黄连木笛2 天前
Redis Insight 汉化教程:Windows / macOS / Linux 设置中文界面(附繁體、教程汉化、关闭自动更新)
数据库·redis·缓存
时间的拾荒人2 天前
Redis 主从复制详解:配置实操 + 原理机制
数据库·redis·面试
小林ixn3 天前
别再全量塞历史了:用 Redis 给 Agent 装上「短期记忆」
redis·agent