Redis----取代RabbitMq 和 Kafka的解决方案

背景

已知rabbitmq和kafka作为消息中间件来给程序之间增加异步消息传递功能,这两个中间件都是专业的,功能也很强,但是有的时候过于复杂,对于只有一组消费者的消息队列,使用Redis 就可以轻松搞定。

异步消息队列

读者可以思考一下他的几种数据结构哪种更适合,string,hash,set,zset,list

是的很明显list',使用rpush/lpush进队列,rpop/lpop出队列

队列空了怎么办

消费者重复快速从队列中消费,那么队列很快就会空,那么就会重复pop操作。浪费生命的空轮询,拉高无用的能耗,通常的解决方案就是让消费线程睡一会,一般1s就够了。

但是又有新问题,如果消费者数量过多,睡眠时间综合起来就太多了,缩短睡眠时间?但还是有别的方案,阻塞读

blpop brpop b前缀是blocking 阻塞

阻塞读是队列为空时会立刻进入休眠状态,一旦数据来了就立即唤醒,基本没有延迟。

看起来是不是完美无缺,但是如果断开链接呢?

线程一直阻塞的话,Redis链接闲置的话,服务器会关闭它,并抛出异常。

延时队列的实现

redis中一种特殊的数据结构,zset,消息序列化成一个字符串作为zset的value,消息的到期时间作为他们的score,用多个线程轮询zset获取到期的任务处理。(多个线程保证可用,一个线程挂了还有其他的)

相关推荐
海兰19 小时前
【高速缓存】RedisVL 存储类型选择指南:Hash 与 JSON
人工智能·redis·算法·缓存·json·哈希算法
Wang's Blog21 小时前
Go-Zero 项目开发19:基于 Kafka 的异步消息存储与转发实战
golang·kafka
Devin~Y21 小时前
互联网大厂 Java 面试实录:Spring Boot、MyBatis、Redis、Kafka、Spring Security、RAG 与 MCP 全链路问答
java·redis·kafka·mybatis·spring security·spring mvc·sprint boot
海兰1 天前
【高速缓存】 RedisVL MCP 运行指南(下)
人工智能·redis·哈希算法·高速缓存
hold?fish:palm1 天前
kv存储主从复制的设计与实现
c++·redis·后端
不如语冰2 天前
AI大模型入门-Python进阶-上下文管理与with语句
开发语言·数据结构·数据库·人工智能·pytorch·redis·python
程序员天天困2 天前
Java 项目用 Single-flight 一招终结 AI 接口重复调用
redis·后端
VX_bysjlw9852 天前
基于微信小程序的宠物用品商城系统-后端74346-计算机毕设原创(免费领源码+带部署教程)
java·redis·微信小程序·eclipse·mybatis·idea·微信开发者工具
YOU OU2 天前
Redis事务
数据库·redis·缓存
笨鸟先飞的橘猫2 天前
redis数据结构学习——stream
数据结构·redis·学习