【Redis】管道式“批处理”

批处理命令变种优化措施,类似Redis的原生批命令(mset/mget)

  • 由于mset/mget是String的命令,所以兼容处理不同类型的"批处理"需要使用管道

这篇文章我们从一个面试题开始:如何优化频繁命令往返造成的性能瓶颈?

Round Trip Time 问题

我们先解释下什么叫"命令往返时间"

  1. 客户端向服务器发送命令分4部(发送命令 -> 命令排队 -> 执行命令 -> 返回结果),并监听Socket返回,通常以阻塞模式等待服务端响应
  2. 服务端处理命令,并将结果返回给客户端

上面的2步称为 Round Trip Time(简称RTT,数据包往返于两端的时间)

Redis的客户端与服务端进行交互时,每发一次命令,就需要等待上一条命令应答后在执行,当要执行大量命令时,中间就会多了很多RTT,还会频繁调用系统IO,发送网络请求,同时需要Redis调用多次read()和write()系统方法,系统方法会将数据从用户态转移到内核态,这样就会对进程上下文有较大的性能影响

解决思路

管道(pipeline)可以一次性发送多条命令给服务端,服务端依次处理完后,通过一条响应一次性将结果返回,通过减少客户端与Redis的通信次数来实现降低往返延时时间

管道的原理是队列 ,先进先出以保证命令的顺序执行

我们举个例子,本地有一个名为pipeline.txt的文件,里面是多个不同类型的数据的存储命令,具体内容如下

通过执行cat pipeline.txt|redis-cli --pipe命令,使用管道执行文中的全部指令,返回 0 error 则表明全部执行成功

我们进入客户端,可以看到刚才文件里的数据都已经放入redis中了

总结

Pipeline与原生批量命令对比

  • 原生批量命令是原子性(例如:mset,mget)pipeline是非原子性
  • 原生批量命令一次只能执行一种命令,pipeline支持批量执行不同命令
  • 原生批命令是服务端实现,而pipeline需要服务端与客户端共同完成

Pipeline与事务对比

  • 事务有原子性,管道没有
  • 管道一次性将条命令发送到服务端,事务是一条一条的发,事务只有接到exec命令后才会开始执行,管道不行
  • 执行事务时会阻塞其他命令的执行,而执行管道中的命令不会

使用Pipeline注意事项

  • pipeline缓冲的指令只是会依次执行,不保证原子性,如果执行中指令发生异常,将会继续执行后续的指令
  • 使用pipeline组装的命令个数不能太多,不然数据量过大客户端阻塞的时间可能过久,同时服务端此时也被迫回复一个队列答复,占用很多内存
相关推荐
weixin_4604435617 分钟前
考试监控大屏为什么不能直接查数据库?WebSocket、Redis与实时数据聚合架构设计
数据库·redis·在线考试系统·培训考试系统·煤矿培训考试系统·煤矿在线考试系统·宏远培训考试系统
九皇叔叔5 小时前
【第二章】Redis基础入门:Redis是什么、为什么快以及核心特性详解
数据库·redis·缓存
敲代码的嘎仔16 小时前
用 Redis 合并写 + DelayQueue 延迟检测,把视频播放进度写库频率降到 1/60
java·开发语言·数据库·redis·缓存·音视频·高并发
程序猿乐锅18 小时前
【黑马点评 | 第一篇】从 Session 到 Redis+Token 的改造与拦截器实现
数据库·redis·缓存
野生技术架构师18 小时前
Redis Hot Key 与 Big Key:危害、发现与解决方案
数据库·redis·缓存
学渣超19 小时前
从一次早高峰数据库告警说起:你真的理解缓存该如何落地应用吗?
redis·后端·架构
程序员清风20 小时前
Python 操作 MySQL、Redis 与消息队列的完整实践
redis·python·mysql
momo061171 天前
Redis新手入门 -- 学习笔记
redis·后端
吃饱了得干活2 天前
Redisson 进阶实战:看门狗机制与分布式锁完全指南
java·redis·后端
我是苏苏2 天前
Redis开发09:Windows系统下主从复制的配置教程
数据库·redis·缓存