Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容

前面几篇用主从 + Sentinel 解决了"单组分片内的高可用",但单组主从的写入能力始终受限于一台机器,容量也受限于单机内存。横向扩展的答案是分片:把 16384 个哈希槽(slot)分散到多个 master 上,每个 master 再配主从保证可用性。Redis Cluster 是 Redis 原生实现的分片方案,不依赖任何代理中间件,客户端与服务端直接交互,靠重定向把请求送到正确的节点。本文从"一个 key 如何落到某个槽"讲到"一个 master 挂掉后谁来接班",最后用一个真实的容器部署日志解释槽分配为什么会错乱。


一、整体架构

1.1 原生架构 vs 代理方案

方案 代表 特点
原生分片 Redis Cluster 无中间件,客户端直连节点,靠 MOVED/ASK 重定向;官方内置故障转移
代理分片 Codis、Twemproxy 客户端连代理,代理负责路由;代理本身成为瓶颈与单点
客户端分片 Jedis Sharded、ShardingSphere 路由逻辑在客户端代码里,扩容需改配置

Redis Cluster 的优势在于没有中间件:路由规则由客户端和服务端共同持有,服务端只在"key 不在我这"时回一个重定向地址,客户端后续自行维护槽映射表。

1.2 分片、槽、节点三者的关系

先要把术语厘清,这是最容易混的地方:

复制代码
集群(cluster)
  └── 分片(shard)         = 一组负责同一批槽的主从节点
        ├── master(1 个)   ← 持有槽、处理读写
        └── replica(N 个)  ← 复制 master,故障时接班
  • 槽(slot)是路由单位,共 16384 个,全部槽必须被覆盖;

  • 分片(shard)是容量单位,一个分片实际就是"1 主 + N 从";

    4 分片的槽分配(16384 / 4 = 4096):
    master1: [0, 4095]
    master2: [4096, 8191]
    master3: [8192, 12287]
    master4: [12288, 16383]

注意区间端点的写法:每一段是 4096 个槽,上一段的末尾与下一段的开头不能重叠。

1.3 最小规模:

至少 3 个 master,因为故障判定与 leader 选举都需要"多数 master 投票"------只有 2 个 master 时挂掉 1 个就凑不齐多数,集群直接失联。

复制代码
3 master + 每 master 1 replica = 6 个节点   ← 具备高可用的最小规模
3 master + replicas=0        = 3 个节点   ← 能跑,但任一 master 挂掉该分片即不可用

--cluster-replicas 2 意味着每个 master 配 2 个从节点,节点总数必须是 3 × (1+2) = 9


二、数据路由:从 key 到 slot

2.1 CRC16,不是普通 hash

复制代码
slot = CRC16(key) mod 16384

Redis 使用的不是通用哈希,而是 CRC16(XMODEM 变体) ,再对 16384 取模。由于 16384 = 2¹⁴,取模在实现上等价于取 CRC16 结果的低 14 位(CRC16(key) & 16383),比除法更快。

key 在路由眼里只是一个二进制安全的字节串。它不区分"类型"------不论业务上这个 key 代表用户 ID、订单号还是 JSON 串,Cluster 只把它当作字节序列算 CRC16。value 才有 string/list/hash 等类型之分。

2.2 为什么是 16384

这是 CRC16 能给出的两个候选规模,选 16384 有三个理由:

理由 说明
心跳包开销 每个节点在 Gossip 消息里携带自己的槽位图(bitmap)。16384 bits = 2KB;65536 bits = 8KB心跳是持续高频的,2kb 在节点多时非常可观
节点规模足够 正常集群节点数不超过 1000,16384 个槽足以支撑,每 master 几十个槽也完全够用
位图压缩率 槽位图会做压缩传输。槽数适中时位图的稀疏性更集中,压缩效果更好;槽数过大反而降低压缩率

槽的总数固定不可改。它由 CRC16 的低 14 位硬编码决定,配置文件里没有"修改槽数量"这种能力。能调整的只有"槽如何分配给各个节点"以及"有多少个节点"。

2.3 hash tag:让多个 key 落到同一槽

复制代码
slot = CRC16("user1000:profile") mod 16384
slot = CRC16("user1000:orders")  mod 16384   ← 两个 key 的槽大概率不同

跨槽的多 key 操作(MGET、MSET、事务、Lua 脚本)在 Cluster 下会直接报 CROSSSLOT 错误。解决办法是 hash tag:

复制代码
{user1000}:profile
{user1000}:orders

规则是:key 中如果存在成对的 {},且花括号内至少有一个字符,则只对花括号内的内容计算 CRC16,花括号外的部分不参与。

复制代码
{user1000}:profile → CRC16("user1000") → 同一个槽
{user1000}:orders  → CRC16("user1000") → 同一个槽

因此这两个 key 一定落在同一节点,可以安全地一起 MGET、放进同一个事务或同一个 Lua 脚本。这是 Cluster 下设计 key 命名的核心约束。

2.4 重定向:MOVED 与 ASK

如果不在直接连接的服务器中,服务端不会替客户端去别的节点取数据,它只回一个重定向响应,由客户端重新发请求到正确节点。

复制代码
客户端连到节点 A,请求 key K
  A 计算 slot 后发现自己不负责该槽
  → 返回 MOVED <slot> <目标节点IP:PORT>
  → 客户端更新本地槽映射表,改连目标节点重发请求

两种重定向的区别:

响应 触发场景 客户端行为
MOVED 槽的归属已永久变更(reshard 完成) 更新本地槽映射表,以后直接连新节点
ASK 槽正在迁移中,该 key 已被搬到目标节点但迁移未完成 不更新 映射表,仅本次请求临时转发到目标节点,并先发 ASKING 命令

区分两者的意义:迁移过程中如果客户端把映射表改掉,会造成一部分 key 走错节点。所以 ASK 只做"一次性转发",不污染本地缓存。

客户端连续被重定向超过 16 次会报错,避免死循环。


三、集群搭建

3.1 端口规划

Cluster 模式下每个节点占用两个端口:

端口 用途
6379 客户端连接,正常的 Redis 协议
16379 集群总线(cluster bus),节点之间 Gossip 通信,二进制协议

集群总线端口固定为 port + 10000。容器里两个端口都要映射出来,否则节点之间无法握手(表现为一直卡在 Waiting for the cluster to join)。

3.2 编排文件

复制代码
version: '3.7'

networks:
  mynet:
    ipam:
      config:
        - subnet: 172.30.0.0/24

services:
  master1:
    image: 'redis:6.0.16'
    container_name: redis-master1
    restart: always
    command: redis-server /etc/redis/redis.conf
    ports:
      - "6382:6379"
      - "16382:16379"
    volumes:
      - ./master1/:/etc/redis/
    networks:
      mynet:
        ipv4_address: 172.30.0.101

  slave1:
    image: 'redis:6.0.16'
    container_name: redis-slave1
    restart: always
    command: redis-server /etc/redis/redis.conf
    ports:
      - "6380:6379"
      - "16380:16379"
    volumes:
      - ./slave1/:/etc/redis/
    networks:
      mynet:
        ipv4_address: 172.30.0.105

  # 其余节点同理,每个节点必须有自己的目录与自己的 IP

注意两处容易出错的地方:

问题 后果
多个 service 的 volumes 指向同一目录(如都写 ./master/) 节点共用同一份配置,cluster-announce-ip 全部相同,集群身份冲突
节点命名与 IP 不对应(如 master2 用 .101) 排查时极易看错节点,建议命名与 IP 末位对齐

3.3 每个节点的配置文件

复制代码
port 6379
bind 0.0.0.0
protected-mode no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
cluster-announce-ip 172.30.0.101
cluster-announce-port 6379
cluster-announce-bus-port 16379
参数 说明
cluster-enabled yes 开启集群模式,节点才能参与槽分配
cluster-config-file nodes.conf 集群状态持久化文件,见 3.5
cluster-node-timeout 5000 节点超时判定阈值,单位毫秒
cluster-announce-ip 对外宣告的 IP。容器/NAT 场景必须显式指定,否则节点宣告的是容器内网地址,外部连不上
cluster-announce-port 对外宣告的客户端端口
cluster-announce-bus-port 对外宣告的集群总线端口

cluster-announce-ip 必须是每个节点自己的 IP 。这一点是整份笔记里最致命的隐患:如果所有容器共用同一份 conf、都写着 172.30.0.101,那么 6 个节点都会向集群宣告"我是 172.30.0.101",彼此身份无法区分,槽分配必然错乱------后面第九节会结合日志展开。

cluster-announce-* 三个参数的目的只有一个:让节点在"自己看到的地址"与"别人能连到的地址"不一致时,主动告诉别人该用哪个地址。跨 NAT、容器、云主机端口映射的场景都依赖它。

3.4 创建集群

复制代码
redis-cli --cluster create \
  172.30.0.101:6379 172.30.0.102:6379 172.30.0.103:6379 \
  172.30.0.104:6379 172.30.0.105:6379 172.30.0.106:6379 \
  --cluster-replicas 1

输出解读:

复制代码
Master[0] -> Slots 0 - 5460          ← 5461 个槽
Master[1] -> Slots 5461 - 10922      ← 5462 个槽
Master[2] -> Slots 10923 - 16383     ← 5461 个槽

Adding replica 172.30.0.105:6379 to 172.30.0.101:6379
Adding replica 172.30.0.106:6379 to 172.30.0.102:6379
Adding replica 172.30.0.104:6379 to 172.30.0.103:6379

16384 / 3 = 5461.33,无法整除,因此三个 master 分别分到 5461 / 5462 / 5461 个槽。具体哪个从节点配到哪个主节点是随机的,不是按 IP 顺序对应。

末段 [OK] All 16384 slots covered. 表示 16384 个槽全部被覆盖,集群可用。

参与 cluster create 的节点必须是空的 :没有数据、没有历史集群状态(nodes.conf 不存在或已被清理)。否则会报 Node ... is not empty。

3.5 nodes.conf 是什么

复制代码
cluster-config-file nodes.conf

这是集群状态的自维护文件,由节点在运行时自动写入,内容包含:

内容 说明
本节点 ID 40 位十六进制,集群内唯一,创建后不再变化
已知节点列表 每个节点的 IP、端口、角色、主节点 ID
槽分配表 每个槽归属哪个节点
epoch currentEpoch / configEpoch
集群状态 cluster_state:ok / fail

三条铁律:

  1. 不要手工编辑,改错了集群直接崩;
  2. 不要删除(除非你确实要重建整个集群),删除等于让节点忘记自己的身份;
  3. 每个节点必须有独立的文件路径 ,多个节点共用一个 nodes.conf 会导致节点 ID 冲突。

它的位置由 cluster-config-file 指定,相对路径以 dir 为基准。容器场景建议放在挂载目录内,保证重建容器后身份不丢。


四、集群通信:Gossip 与心跳

4.1 ping / pong 携带的信息

所有节点周期性互相通信,一次 ping 与一次 pong 结构相同,仅消息类型不同。携带内容包括:

字段 用途
节点 ID 唯一身份
所属分片 / 主从关系 谁是 master、谁复制谁
槽位图(bitmap) 该节点持有哪些槽,16384 bits = 2KB
currentEpoch / configEpoch 版本号,用于解决配置冲突
集群状态 是否 ok
gossip 段 顺带携带若干其他节点的状态

所以"2KB 的位图就能告知自己管理的槽":恰好 16384/8 = 2048 字节。

4.2 为什么随机抽样而非全量广播

复制代码
9 个节点全量互发:9 × 8 = 72 组心跳
N 个节点:N × (N-1) ≈ N² 量级

心跳量随节点数呈平方增长。Redis 的做法是每秒只随机挑几个节点发 ping,再靠 gossip 段把"我听到的别人状态"顺带传播出去。这样每个节点每秒只发常数级别的包,全局信息仍能近似收敛。

4.3 集群总线

节点间通信走独立的集群总线端口 (port + 10000),使用二进制协议,与客户端协议完全不同。这也是容器部署必须同时映射 6379 和 16379 的原因------只映射 6379 时,客户端能连、节点之间却握不上手。


五、故障判定:PFAIL 与 FAIL

5.1 PFAIL(主观下线)

复制代码
A 向 B 发 ping,B 没有如期回 pong
  → A 尝试重置与 B 的 TCP 连接
  → 仍连不上,且持续超过 cluster-node-timeout
  → A 把 B 标记为 PFAIL

PFAIL 只是 A 的个人视角,与 Sentinel 的 SDOWN 完全对应。单个节点的网络问题不应引发全局切换。

5.2 升级为 FAIL(客观下线)

复制代码
A 通过 gossip 得知其他节点对 B 的判断
  → 每个节点各自维护一份"下线列表"
  → 当报告 B 为 PFAIL 的【master】数量超过【master 总数的一半】
  → A 把 B 标记为 FAIL,并广播出去
  → 其他节点收到后同样标记 FAIL

判定门槛是 majority of masters,从节点不参与这项判断。

举例:3 主 3 从的集群,某 master 被 2 个 master 报告 PFAIL,即达到多数(>1.5),升级为 FAIL。若有 3 个 master 挂了,剩下的 master 数量已不足多数,连 FAIL 都判定不出来------这正是集群整体 fail 的成因之一。

5.3 三种集群失效情形

情形 结果
某个分片的主节点与所有从节点都挂 该分片的槽无人负责,若 cluster-require-full-coverage=yes(默认),整个集群拒绝服务
某个分片只有主节点、没有从节点,且主节点挂 同上,无节点可接班
超过半数的 master 挂了 无法形成多数,故障迁移无法执行,集群进入 fail 状态

cluster-require-full-coverage 是这里的关键开关:

取值 行为
yes(默认) 任一槽不可用 → 整个集群返回 CLUSTERDOWN,全部请求失败
no 只影响不可用的槽,其余槽照常服务

生产上是否设为 no 取决于业务能否容忍"部分 key 不可用"。设为 no 会降低"全库不可用"的风险,但会引入"部分数据静默失败"的风险。


六、故障迁移:从节点接班

当 FAIL 的节点是 master 时,它的从节点会发起故障迁移。

6.1 资格判定

复制代码
从节点与主节点最后一次通信距今 > cluster-node-timeout × cluster-replica-validity-factor
  → 认为自身数据过于陈旧,放弃参选

cluster-replica-validity-factor 默认 10。设为 0 表示不做陈旧性检查(任何从节点都可参选,但可能选到数据严重落后的节点)。

6.2 休眠排名

合格候选者不会同时发难,而是先各自休眠:

复制代码
休眠时间 = 500ms + random(0, 500ms) + rank × 1000ms
组成 作用
500ms 基础 给 FAIL 判定留出传播时间
0~500ms 随机 打散同时唤醒的候选者
rank × 1000ms 按复制 offset 排名:offset 越大(数据越新)rank 越小,唤醒越早

数据最新的从节点最早醒来,先发拉票,通常就先赢------这保证了"优先选数据最全的节点",尽量少丢数据。

6.3 拉票与晋升

复制代码
① 醒来的从节点 C 向所有 master 发送 FAILOVER_AUTH_REQUEST
② 每个 master 在同一 epoch 内只投一票,投给第一个请求者
③ C 收到的票数 > 主节点总数的一半 → 晋升
④ C 执行 SLAVEOF NO ONE,继承原主的槽与 configEpoch
⑤ 其余从节点改为复制 C
⑥ 广播新配置,所有节点更新槽映射

只有 master 有投票权,每个 master 每个 epoch 只有一票。epoch 机制与 Sentinel 相同,用来防止旧配置覆盖新配置。

6.4 与 Sentinel 的差别

维度 Sentinel Cluster
故障判定 SDOWN / ODOWN,quorum 可配 PFAIL / FAIL,多数 master
执行者 独立的哨兵进程 集群内节点自身
是否需要额外进程 需要 不需要
适用规模 单组主从 分片集群

七、扩缩容

7.1 add-node:默认作为 master 加入

复制代码
redis-cli --cluster add-node 172.30.0.107:6379 172.30.0.101:6379
参数 含义
第一组地址 新节点地址
第二组地址 集群中任意一个已有节点地址(作为引路人)

新节点默认以 master 身份加入,且持有 0 个槽

若想把它加为从节点,必须显式指定:

复制代码
redis-cli --cluster add-node 172.30.0.107:6379 172.30.0.101:6379 \
  --cluster-slave --cluster-master-id <目标master的node-id>

加入后新 master 不持有任何槽,必须 reshard 才有流量,否则它只是个空转节点。

7.2 reshard:迁移槽

复制代码
redis-cli --cluster reshard 172.30.0.101:6379

交互式提问三项:

提问 填写
迁移多少个槽? 例如 4096(4 分片扩到 5 分片时按 16384/4 估算)
哪个节点接收? 填写目标节点的 node ID,不是 IP
从哪些节点搬? 填 all 表示从所有节点均摊,也可指定具体 node ID

注意单词是 reshard(重新切分),不是 reshared(重新分享),多写一个 e 会报错。

迁移的实际过程(这解释了 ASK 重定向):

复制代码
① 源节点把槽标记为 MIGRATING
② 目标节点把槽标记为 IMPORTING
③ 逐 key 迁移:MIGRATE 命令把 key 搬到目标节点
④ 迁移期间该槽的请求:源节点若还持有 key 则正常处理,
   若 key 已迁走则回 ASK 重定向
⑤ 全部 key 迁完,槽所有权正式转交,广播新配置

迁移是按 key 逐个搬,不是整体拷贝文件,这正是"只移动必要数据、避免大规模调整"的实现方式。

7.3 del-node:删除节点

复制代码
redis-cli --cluster del-node 172.30.0.101:6379 <要删除的node-id>
删除对象 前置条件
从节点 可直接删
主节点 必须先 reshard 把它的槽全部迁走 ,否则报错 Node ... still holds slots

先把槽迁移出去 (reshard 清空槽)。只迁数据不迁槽是没用的,判定依据是"是否还持有槽"。

删除主节点前如果它还有从节点,建议先删从节点,或让从节点迁移到其他主节点(cluster-allow-replica-migration 默认 yes,会在主节点消失后自动重新分配从节点)。


八、客户端使用

8.1 必须加 -c

复制代码
redis-cli -c -h 172.30.0.101 -p 6379

连上集群中任意一个节点,就相当于连上整个集群 ------但这依赖 -c 选项。不加 -c 时,如果 key 不在当前节点,客户端只会拿到 MOVED 报错而不会自动跟过去。加上 -c 后,客户端会自动解析重定向并重连目标节点。

8.2 cluster nodes

复制代码
127.0.0.1:6379> cluster nodes

输出每行一个节点,字段为:node-id → ip:port@bus-port → flags → master-id → ping-sent → pong-recv → config-epoch → link-state → slot 范围。

flags 里常见取值:

flag 含义
myself 当前连的这个节点
master / slave 角色
fail? 正在被判定为 FAIL 的过程中
fail 已判定 FAIL
handshake 握手阶段
noaddr 地址未知

8.3 集群模式的额外限制

限制 说明
只有 db 0 Cluster 不支持多数据库,SELECT 1 会报错
跨槽多 key 命令受限 MGET/MSET/事务/Lua 涉及的 key 必须在同一槽,否则 CROSSSLOT
不支持跨槽的 KEYS 全量扫描 只能在单节点上执行,逻辑上要遍历所有 master
复制仍是异步的 故障迁移会丢数据,与主从复制同理
相关推荐
txxzjmzlh1 小时前
RabbitMQ安装
分布式·rabbitmq
黑十2 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend2 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend3 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
kyle~3 小时前
SQLite -- 低成本持久化能力
数据库·sqlite
上海潭龙东海科技有限公司3 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
老纪的技术唠嗑局4 小时前
OceanBase AI数据大会,我会这么逛
数据库
星恒随风4 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
草莓熊Lotso4 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构