详解 Redis repl_backlog_buffer(如何判断增量同步)

一、repl_backlog_buffer

复制积压缓冲区(Replication Backlog Buffer) 是一个环形内存区域(Ring Buffer),用于临时保存主节点最近写入的写命令,以支持从节点断线重连后的增量同步

1.1 三个复制偏移量

复制偏移量(offset)是一个 64 位无符号整数 ,是主节点为所有写入操作生成的全局连续递增的序列号 ,表示从主节点启动以来所有写命令的字节总量(按 Redis 协议格式序列化后的字节数)。

例如:主节点执行 SET key value,这条命令会被序列化成 Redis 协议格式(如 *3\r\n$3\r\nSET\r\n$3\r\nkey\r\n$5\r\nvalue\r\n),总字节数为 30 字节。此时,主节点的 master_repl_offset 会递增 30。

Redis 的设计目标是长期运行的高吞吐系统。假设每秒写入 100MB 数据:耗尽时间 ≈ 1.84e19 / (100 * 1e6) / 31536000 ≈ 5845 年

  1. master_repl_offset:主节点复制偏移量,表示主节点已写入的复制数据流的总字节数
    1. 主节点重启或故障切换后,新主节点的 master_repl_offset 会重置;
  2. slave_repl_offset:从节点的复制进度;
  3. backlog_first_byte_offset:repl_backlog_buffer 的起始偏移量
    1. slave_repl_offset >= backlog_first_byte_offset,则增量同步;否则需全量同步;

1.2 repl_backlog_buffer 清理时机

  1. 缓冲区写满时覆盖旧数据:按照 FIFO 的方式循环覆盖旧数据;
  2. 所有从节点断开连接时释放缓冲区;
相关推荐
不穿格子的程序员15 分钟前
Redis篇6——Redis深度剖析:从单机到集群,Redis高可用进化史
数据库·redis·集群·主从·高可用·哨兵
阿坤带你走近大数据29 分钟前
什么是元数据管理?(附具体实施方案供参考)
数据库·金融
俊男无期32 分钟前
超效率工作法
java·前端·数据库
2301_8234380232 分钟前
【无标题】解析《采用非对称自玩实现强健多机器人群集的深度强化学习方法》
数据库·人工智能·算法
中国胖子风清扬36 分钟前
SpringAI和 Langchain4j等 AI 框架之间的差异和开发经验
java·数据库·人工智能·spring boot·spring cloud·ai·langchain
Elastic 中国社区官方博客1 小时前
Elasticsearch:你是说,用于混合搜索(hybrid search)
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
czlczl200209251 小时前
高并发下的 Token 存储策略: Redis 与 MySQL 的一致性
数据库·redis·mysql
虹科网络安全1 小时前
艾体宝产品 | 基准测试:ArangoDB性能碾压Neo4j,速度最高提升8倍!
数据库·neo4j
哈哈老师啊1 小时前
Springboot校园订餐管理系统k2pr7(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
数据库·spring boot·后端