Redis中的主从/Redis八股

四、Redis主从

1.搭建主从架构

  • 不像是负载均衡,这里是主从,是因为redis大多数是读少的是写

  • 步骤

    1. 搭建实例(建设有三个实例,同一个ip不同端口号)

      1)创建目录

      我们创建三个文件夹,名字分别叫7001、7002、7003:

      sh 复制代码
      # 进入/tmp目录
      cd /tmp
      # 创建目录
      mkdir 7001 7002 7003

      2)恢复原始配置

      修改redis-6.2.4/redis.conf文件,将其中的持久化模式改为默认的RDB模式,AOF保持关闭状态。

      properties 复制代码
      # 开启RDB
      # save ""
      save 3600 1
      save 300 100
      save 60 10000
      
      # 关闭AOF
      appendonly no

      3)拷贝配置文件到每个实例目录

      然后将redis-6.2.4/redis.conf文件拷贝到三个目录中(在/tmp目录执行下列命令):

      sh 复制代码
      # 方式一:逐个拷贝
      cp redis-6.2.4/redis.conf 7001
      cp redis-6.2.4/redis.conf 7002
      cp redis-6.2.4/redis.conf 7003
      
      # 方式二:管道组合命令,一键拷贝
      echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf

      4)修改每个实例的端口、工作目录

      修改每个文件夹内的配置文件,将端口分别修改为7001、7002、7003,将rdb文件保存位置都修改为自己所在目录(在/tmp目录执行下列命令):

      sh 复制代码
      sed -i -e 's/6379/7001/g' -e 's/dir .\//dir \/tmp\/7001\//g' 7001/redis.conf
      sed -i -e 's/6379/7002/g' -e 's/dir .\//dir \/tmp\/7002\//g' 7002/redis.conf
      sed -i -e 's/6379/7003/g' -e 's/dir .\//dir \/tmp\/7003\//g' 7003/redis.conf

      5)修改每个实例的声明IP

      虚拟机本身有多个IP,为了避免将来混乱,我们需要在redis.conf文件中指定每一个实例的绑定ip信息,格式如下:

      properties 复制代码
      # redis实例的声明 IP
      replica-announce-ip 192.168.202.132

      6)每个目录都要改,我们一键完成修改(在/tmp目录执行下列命令):

      sh 复制代码
      # 逐一执行
      sed -i '1a replica-announce-ip 192.168.150.101' 7001/redis.conf
      sed -i '1a replica-announce-ip 192.168.150.101' 7002/redis.conf
      sed -i '1a replica-announce-ip 192.168.150.101' 7003/redis.conf
      
      # 或者一键修改
      printf '%s\n' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 192.168.150.101' {}/redis.conf
    2. 启动

      sh 复制代码
      # 第1个
      redis-server 7001/redis.conf
      # 第2个
      redis-server 7002/redis.conf
      # 第3个
      redis-server 7003/redis.conf

      停止

      sh 复制代码
      printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown
    3. 开启主从

      sh 复制代码
      slaveof <masterip> <masterport>
      
      # 查看状态
      info replication

2.数据同步原理

  1. 主从第一次同步是全量同步:

    • 通过rdb文件传输

    • 通过内存产生快照,并在子进程生成RDB的时候,主进程把新的指令写入repl_baklog中,后续发送给slave,方便同步最新数据。

    • 因为是一次全部同步,数据量会很大,速度会慢

    • replication buffer是直接传输给slave的缓存,是只有多个的,详情可以在增量同步中理解(这里和黑马的不一样,比黑马的详细)

  2. master如何知道slave是第一次同步?

    • 通过Replication :简称replid,是数据集的标记,id一致则说明是同一数据集。每一个master都有唯一的replid

    • offset:偏移量,随着记录在repl baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。

      如果slave的offset小正master的offset,说明slave数据落后于master,需要更新。

      因此slave做数据同步,必须向master声明自己的replicationid和offset,master才可以判断到底需要同步哪些数据

  3. 总结

3.增量同步

  • 流程

    • repl_baklog是一个数组,环形数组,记录对应子节点的传输进度,所以所有多个的

    • replication buffer是直接传输给slave的缓存,是有多个的。

    • slave和matser相差太大,就无法同步了

      快记满,把尚未备份的数据给覆盖了,就无法增量同步了,只能去做全量同步

  1. 优化Redis主从同步

    • 在master中配置repl-diskless-sync yes启用无磁盘复制,避免全量同步时的磁盘IO

      redis.conf中操作,正常是在磁盘IO流中写rdb文件然后再发到网络的IO流中。无磁盘复制就算不在磁盘中写直接在网络IO流里写,然后发。

      传统复制方式:

      内存数据 -> 写入磁盘(RDB文件) -> 读取磁盘 -> 网络发送
      

      无磁盘复制方式:

      内存数据 -> 直接写入网络流(RDB格式)
      
      1. 传统方式中:
        • RDB文件在磁盘上是完整的,读取时可以用较大的块进行读取
        • 网络发送时可以更好地控制发送速度和缓冲
      2. 无磁盘复制时:
        • Redis需要一边生成RDB格式数据,一边往网络写
        • 如果网络写入速度跟不上RDB生成速度,数据会在内存中积压
        • 网络传输如果出现波动或延迟,没有磁盘作为缓冲,整个过程就会变得不稳定

      打个比方:

      • 传统方式就像是先把货物打包好放在仓库(磁盘),需要时直接整车发送
      • 无磁盘方式则像是生产线直接往车上装货,如果道路堵车,货物就会在生产线上积压
    • Redis单节点上的内存占用不要太大,减少RDB导致的过多磁盘IO

    • 适当提高repl baklog的大小,发现slave宕机时尽快实现故障恢复,尽可能避免全量同步

    • 限制一个master上的slave节点数量,如果实在是太多slave,则可以采用主-从-从链式结构,减少master压力

  2. 总结

4.replication buffer 和 repl backlog buffer 的区别

  1. replication buffer

    因为不同的从节点同步速度不一样,主节点会为每个从节点都创建一个replication buffer,它用于实时传输写命令,且大小是动态的,因为对于同步速度较慢的从服务器,需要更多的内存来缓存数据。

    虽说 replication buffer 没有明确的大小限制,但是可以通过 client-output-buffer-1imit 间接控制,该参数可以设置不同类型客户端(普通、从服务器、发布订阅)的输出缓冲区限制。当缓)中区大小超过限制时,Redis 会断开与客户端(从节点其实就是一个客户端)的连接。
    client-output-buffer-limit slave 256mb 64mb 60

    上述配置表示,如果从服务器的输出缓,中区大小超过 256 MB 或超过 64 MB 的时间达到 60s,Redis 将断开与从服务器的连接

  2. repl backlog buffer
    repl_backlog_buffer 在主节点上只有一个,存储最近的写命令,用于从服务器重新连接时进行部分重同步

相关推荐
Slow菜鸟10 分钟前
JavaScript与UniApp、Vue、React的关系
javascript·vue.js·uni-app
austin流川枫12 分钟前
如何基于缓存设计实现一个商品最近搜索记录功能
java·redis
VT.馒头19 分钟前
【力扣】2629. 复合函数——函数组合
前端·javascript·算法·leetcode
程序猿--豪20 分钟前
前端技术百宝箱
javascript·vue.js·react.js·webpack·gitee·css3·html5
程序员buddha20 分钟前
ThinkPHP8.0+MySQL8.0搭建简单实用电子证书查询系统
javascript·css·mysql·php·layui·jquery·html5
颜淡慕潇21 分钟前
【面试题系列】 Redis 核心面试题(二)&答案
数据库·redis·缓存
每天吃饭的羊39 分钟前
React 性能优化
前端·javascript·react.js
小柚净静1 小时前
npm install vue-router 无法解析
javascript·vue.js·npm
风清扬雨1 小时前
Vue3中v-model的超详细教程
前端·javascript·vue.js
八了个戒1 小时前
「JavaScript深入」一文说明白JS的执行上下文与作用域
前端·javascript