Redis Cluster 的数据分片机制

Redis Cluster 的数据分片机制 ,即基于 CRC16 算法16384 个哈希槽(Hash Slot) 的分配方法。这是 Redis 分布式架构的核心。


核心思想

Redis Cluster 不使用一致性哈希,而是引入了 哈希槽 的概念,将整个数据集逻辑上划分为 16384(2^14) 个槽。每个键通过一个固定的算法计算它属于哪个槽,而每个节点负责管理一部分槽。

这样做的好处是:

  • 解耦数据与节点:数据只与槽编号相关,槽与节点的映射可以动态调整。

  • 易于管理:集群的扩容、缩容、负载均衡,都转化为槽的迁移操作。

  • 计算简单:客户端可以本地计算键的槽位置,直接路由到正确的节点。


键到哈希槽的计算算法

计算分为两步:

1. 计算 CRC16 校验和

对键的完整名称(key)进行 CRC16 计算。Redis 使用的 CRC16 多项式是 CRC-16-CCITT ,即:
X^16 + X^12 + X^5 + 1(初始值 0x0000)。

2. 对 16384 取模

复制代码
slot = CRC16(key) % 16384

结果是一个 0 到 16383 之间的整数,这就是该键的"家"。


键哈希标签(Hash Tags)

为了确保多个相关的键被分配到同一个槽(从而在同一个节点),Redis 支持 哈希标签。规则是:

  • 如果键中包含 {...} 模式,则只对 {} 之间的子串计算哈希。

  • 否则,对整个键计算。

示例:

复制代码
# 这两个键会被分配到同一个槽,因为只对 "user123" 计算哈希
SET user:{user123}:profile "Alice"
SET user:{user123}:session "abc123"

# 计算方式:slot = CRC16("user123") % 16384

槽到节点的映射

集群启动时或经过重配置后,每个主节点会负责一个或多个槽的范围。例如:

  • 节点 A:负责槽 0 - 5500

  • 节点 B:负责槽 5501 - 11000

  • 节点 C:负责槽 11001 - 16383

这个映射关系被称为 集群配置,它由所有节点共享。客户端在启动时会获取一份副本,从而可以直接将命令发送到正确的节点。


客户端请求路由

  1. 客户端本地计算槽:客户端根据上述算法计算出键对应的槽号。

  2. 检查本地缓存:客户端查看本地缓存的"槽-节点"映射表。

  3. 发送命令

    • 如果映射正确,直接发送命令到对应节点。

    • 如果映射不正确(例如集群已迁移),目标节点会返回 MOVED 错误 并附带正确的节点地址,客户端更新映射并重试。

  4. ASK 重定向 :在槽迁移过程中,如果请求的键已被迁移到新节点,旧节点会返回 ASK 重定向,客户端临时向新节点发送命令。


为什么是 16384 个槽?

作者 Antirez 在 GitHub 讨论 中解释过:

  1. 内存与心跳包大小:集群中每个节点需要定期广播它负责的槽位图(16384 位 = 2KB)。如果槽数太多(如 65536),心跳包会过大(8KB),浪费网络带宽。

  2. 足够的分片:16384 个槽对于最多 ~1000 个节点的集群已经足够,而 Redis Cluster 设计上不建议超过 1000 个节点。

  3. CRC16 分布性:CRC16 输出 65536 个可能值,取模 16384 后冲突率在可接受范围。


槽迁移与重新分片

当需要扩容或缩容时,管理员可以使用 redis-cli --cluster reshard 命令将槽从一个节点迁移到另一个节点。迁移过程:

  • 标记槽为"迁移中"状态。

  • 迁移槽内的键数据。

  • 更新集群配置,将槽的所有权转移给新节点。

迁移期间,集群仍可正常处理请求(通过 MOVED/ASK 重定向)。


总结表

组件 说明
哈希槽总数 16384 个固定槽
哈希算法 CRC16(key) % 16384
哈希标签 {...} 确保相关键同槽
槽分配 每个主节点负责一部分槽范围
客户端路由 本地计算槽,根据缓存映射发送,支持 MOVED/ASK 重定向
重分片 槽可以在节点间迁移,支持在线扩容缩容
相关推荐
奥特曼_ it2 小时前
【NLP舆情分析】基于python微博舆情分析可视化系统(完整系统源码+数据库+详细部署教程)✅
数据库·python·自然语言处理
编程彩机2 小时前
互联网大厂Java面试:从Spring Boot到分布式缓存的技术场景解析
java·redis·分布式·缓存·大厂面试·技术解析·sprint boot
Mr__Miss2 小时前
Mysql的redo log和undo log
数据库
码界奇点3 小时前
深入解析MySQL9主从复制架构详解从原理到实战优化
数据库·sql·架构·可用性测试
Miha_Singh3 小时前
查询优化综述:《A Survey of Query Optimization in Large Language Models》
数据库·人工智能·语言模型·查询优化·查询改写
打工的小王3 小时前
Redis(一)redis的下载安装与使用
数据库·redis·缓存
煎蛋学姐4 小时前
SSM医患交流m8996(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面
数据库·ssm 框架·医患交流系统
麦聪聊数据4 小时前
为何“零信任”时代需要重构数据库访问层?
数据库·sql
Hello.Reader4 小时前
Flink Working Directory(FLIP-198)稳定本地恢复、RocksDB 目录与进程重启“不丢缓存”的正确姿势
spring·缓存·flink