Redis主从架构和管道Lua(一)

Redis主从架构

架构

Redis主从工作原理

如果为master配置了一个slave,不管这个slave是否是第一次连接上Master,它都会发送一个PSYNC命令给master请求复制数据。master受到PSYNC命令,会在后台进行数据持久化通过bgsave生成最新的

RDB快照文件,持久化期间,master会继续接收客户端的请求,它会把这些可能修改数据集的请求缓存在内存中,当持久化进行完毕以后,master会把这份RDB文件数据即发送给slave,slave会把接收到的

数据进行持久化生成RDB,然后再加载到内存中。然后master再将之前缓存在内存中的命令发送给slave/当master与slave之间的连接由于某些原因断开时,slave能够自动重连Master,如果master收到了多个

slave并发连接请求,它只会进行一次持久化,而不是一个连接一次,然后再把这一份持久化的数据发送给多个并发连接的slave.

主从复制(全量复制)流程图:

数据部分复制

当master和slave断开重连后,一般都会对整份数据进行复制。但从Redis2.8版本开始,Redis改用可以支持部分数据复制的命令PSYNC去master同步数据,slave与master能够在网络断开重连后只进行部分数据复制(断点续传).master会在其内存中创建一个复制数据用的

缓存队列,缓存最近一段时间的数,master和它所有的slave都维护了复制的数据下表offset和master的进程id,因此,当网络连接断开后,slave会请求master继续进行未完成的复制,从所记录的数据下标开始。如果master进程id变化了,后者从节点数据下标offset太旧,已经不在master的缓存队列里了,那么将会进行一次全量数据的复制

主从复制风暴

如果有很多从节点,为了缓解主从复制风暴(多个从节点同时复制主节点导致主节点压力过大),可以做如下架构

Redis哨兵高可用架构

sentinel哨兵是特殊的redis服务,不提供读写服务,主要用来监控redis实例节点。哨兵架构下client端第一次从哨兵找出redis的主节点,后续就直接访问redis的主节点不会每次都通过sentinel代理访问redis的主节点,当redis的主节点发生变化,哨兵会第一时间感知到,并将新的redis主节点通知给client端(redis的client端一般都实现了订阅功能,订阅sentinel发布的节点变动消息)

管道与Lua脚本

管道(pipeline)

客户端可以一次性发送多个请求而不用等待服务器的相应,待所有命令都发送完后

再一次性读取服务的响应,这样可以极大地降低多条命令执行的网络传输开销,管道

执行多条命令的网络开销实际上只相当于一次命令执行的网络开销,需要注意到是用

pipeline方法打包命令发送,redis必须再处理完所有命令前先缓存起所有命令的处理

结果。打包的命令越多,缓存消耗内存也越多,所以并不是打包的命令越多越好。

pipeline中发送的每个command都会被server立即执行,如果执行失败,将会在

此后的响应中得到信息;也就是pipeline并不是表达"所有command都一起成功"的

语义,管道中前面命令失败,后面命令不会有影响,继续执行

Lua脚本

Redis在2.6推出了脚本功能,允许开发者使用Lua语言编写脚本传到Redis中执行,使用

脚本的好处如下:

  • 1.减少网络开销:本来5次网络请求的操作,可以用一个请求完成,原先5次请求的逻辑放在
    Redis服务器上完成,使用脚本,减少了网络往返时延,跟管道类似
  • 2.源自操作:Redis会将整个脚本作为一个整体执行,中间不会被其他命令插入,管道不是原子的,
    redis的批量操作命令(类似mset)是原子的
  • 3.替代redis的事务功能:redis自带的事务功能很鸡肋,而redis的lua脚本几乎实现了常规的事务
    功能,官方推荐如果要使用redis的事务功能可以用redis lua替代
    A Redis script is transactional by definition, so everything you can do with a Redis transaction, you can also do with a script,and usually the script will be both simpler and faster.
相关推荐
浮游本尊5 分钟前
Java学习第22天 - 云原生与容器化
java
稻草人22222 小时前
java Excel 导出 ,如何实现八倍效率优化,以及代码分层,方法封装
后端·架构
渣哥2 小时前
原来 Java 里线程安全集合有这么多种
java
间彧2 小时前
Spring Boot集成Spring Security完整指南
java
间彧2 小时前
Spring Secutiy基本原理及工作流程
java
数据智能老司机3 小时前
精通 Python 设计模式——创建型设计模式
python·设计模式·架构
Java水解3 小时前
JAVA经典面试题附答案(持续更新版)
java·后端·面试
数据智能老司机4 小时前
精通 Python 设计模式——SOLID 原则
python·设计模式·架构
洛小豆6 小时前
在Java中,Integer.parseInt和Integer.valueOf有什么区别
java·后端·面试
前端小张同学6 小时前
服务器上如何搭建jenkins 服务CI/CD😎😎
java·后端