前面几篇用主从 + Sentinel 解决了"单组分片内的高可用",但单组主从的写入能力始终受限于一台机器,容量也受限于单机内存。横向扩展的答案是分片:把 16384 个哈希槽(slot)分散到多个 master 上,每个 master 再配主从保证可用性。Redis Cluster 是 Redis 原生实现的分片方案,不依赖任何代理中间件,客户端与服务端直接交互,靠重定向把请求送到正确的节点。本文从"一个 key 如何落到某个槽"讲到"一个 master 挂掉后谁来接班",最后用一个真实的容器部署日志解释槽分配为什么会错乱。
一、整体架构
1.1 原生架构 vs 代理方案
| 方案 | 代表 | 特点 |
|---|---|---|
| 原生分片 | Redis Cluster | 无中间件,客户端直连节点,靠 MOVED/ASK 重定向;官方内置故障转移 |
| 代理分片 | Codis、Twemproxy | 客户端连代理,代理负责路由;代理本身成为瓶颈与单点 |
| 客户端分片 | Jedis Sharded、ShardingSphere | 路由逻辑在客户端代码里,扩容需改配置 |
Redis Cluster 的优势在于没有中间件:路由规则由客户端和服务端共同持有,服务端只在"key 不在我这"时回一个重定向地址,客户端后续自行维护槽映射表。
1.2 分片、槽、节点三者的关系
先要把术语厘清,这是最容易混的地方:
集群(cluster)
└── 分片(shard) = 一组负责同一批槽的主从节点
├── master(1 个) ← 持有槽、处理读写
└── replica(N 个) ← 复制 master,故障时接班
-
槽(slot)是路由单位,共 16384 个,全部槽必须被覆盖;
-
分片(shard)是容量单位,一个分片实际就是"1 主 + N 从";
4 分片的槽分配(16384 / 4 = 4096):
master1: [0, 4095]
master2: [4096, 8191]
master3: [8192, 12287]
master4: [12288, 16383]
注意区间端点的写法:每一段是 4096 个槽,上一段的末尾与下一段的开头不能重叠。
1.3 最小规模:
至少 3 个 master,因为故障判定与 leader 选举都需要"多数 master 投票"------只有 2 个 master 时挂掉 1 个就凑不齐多数,集群直接失联。
3 master + 每 master 1 replica = 6 个节点 ← 具备高可用的最小规模
3 master + replicas=0 = 3 个节点 ← 能跑,但任一 master 挂掉该分片即不可用
--cluster-replicas 2 意味着每个 master 配 2 个从节点,节点总数必须是 3 × (1+2) = 9
二、数据路由:从 key 到 slot
2.1 CRC16,不是普通 hash
slot = CRC16(key) mod 16384
Redis 使用的不是通用哈希,而是 CRC16(XMODEM 变体) ,再对 16384 取模。由于 16384 = 2¹⁴,取模在实现上等价于取 CRC16 结果的低 14 位(CRC16(key) & 16383),比除法更快。
key 在路由眼里只是一个二进制安全的字节串。它不区分"类型"------不论业务上这个 key 代表用户 ID、订单号还是 JSON 串,Cluster 只把它当作字节序列算 CRC16。value 才有 string/list/hash 等类型之分。
2.2 为什么是 16384
这是 CRC16 能给出的两个候选规模,选 16384 有三个理由:
| 理由 | 说明 |
|---|---|
| 心跳包开销 | 每个节点在 Gossip 消息里携带自己的槽位图(bitmap)。16384 bits = 2KB;65536 bits = 8KB心跳是持续高频的,2kb 在节点多时非常可观 |
| 节点规模足够 | 正常集群节点数不超过 1000,16384 个槽足以支撑,每 master 几十个槽也完全够用 |
| 位图压缩率 | 槽位图会做压缩传输。槽数适中时位图的稀疏性更集中,压缩效果更好;槽数过大反而降低压缩率 |
槽的总数固定不可改。它由 CRC16 的低 14 位硬编码决定,配置文件里没有"修改槽数量"这种能力。能调整的只有"槽如何分配给各个节点"以及"有多少个节点"。
2.3 hash tag:让多个 key 落到同一槽
slot = CRC16("user1000:profile") mod 16384
slot = CRC16("user1000:orders") mod 16384 ← 两个 key 的槽大概率不同
跨槽的多 key 操作(MGET、MSET、事务、Lua 脚本)在 Cluster 下会直接报 CROSSSLOT 错误。解决办法是 hash tag:
{user1000}:profile
{user1000}:orders
规则是:key 中如果存在成对的 {},且花括号内至少有一个字符,则只对花括号内的内容计算 CRC16,花括号外的部分不参与。
{user1000}:profile → CRC16("user1000") → 同一个槽
{user1000}:orders → CRC16("user1000") → 同一个槽
因此这两个 key 一定落在同一节点,可以安全地一起 MGET、放进同一个事务或同一个 Lua 脚本。这是 Cluster 下设计 key 命名的核心约束。
2.4 重定向:MOVED 与 ASK
如果不在直接连接的服务器中,服务端不会替客户端去别的节点取数据,它只回一个重定向响应,由客户端重新发请求到正确节点。
客户端连到节点 A,请求 key K
A 计算 slot 后发现自己不负责该槽
→ 返回 MOVED <slot> <目标节点IP:PORT>
→ 客户端更新本地槽映射表,改连目标节点重发请求
两种重定向的区别:
| 响应 | 触发场景 | 客户端行为 |
|---|---|---|
| MOVED | 槽的归属已永久变更(reshard 完成) | 更新本地槽映射表,以后直接连新节点 |
| ASK | 槽正在迁移中,该 key 已被搬到目标节点但迁移未完成 | 不更新 映射表,仅本次请求临时转发到目标节点,并先发 ASKING 命令 |
区分两者的意义:迁移过程中如果客户端把映射表改掉,会造成一部分 key 走错节点。所以 ASK 只做"一次性转发",不污染本地缓存。
客户端连续被重定向超过 16 次会报错,避免死循环。
三、集群搭建
3.1 端口规划
Cluster 模式下每个节点占用两个端口:
| 端口 | 用途 |
|---|---|
6379 |
客户端连接,正常的 Redis 协议 |
16379 |
集群总线(cluster bus),节点之间 Gossip 通信,二进制协议 |
集群总线端口固定为 port + 10000。容器里两个端口都要映射出来,否则节点之间无法握手(表现为一直卡在 Waiting for the cluster to join)。
3.2 编排文件
version: '3.7'
networks:
mynet:
ipam:
config:
- subnet: 172.30.0.0/24
services:
master1:
image: 'redis:6.0.16'
container_name: redis-master1
restart: always
command: redis-server /etc/redis/redis.conf
ports:
- "6382:6379"
- "16382:16379"
volumes:
- ./master1/:/etc/redis/
networks:
mynet:
ipv4_address: 172.30.0.101
slave1:
image: 'redis:6.0.16'
container_name: redis-slave1
restart: always
command: redis-server /etc/redis/redis.conf
ports:
- "6380:6379"
- "16380:16379"
volumes:
- ./slave1/:/etc/redis/
networks:
mynet:
ipv4_address: 172.30.0.105
# 其余节点同理,每个节点必须有自己的目录与自己的 IP
注意两处容易出错的地方:
| 问题 | 后果 |
|---|---|
多个 service 的 volumes 指向同一目录(如都写 ./master/) |
节点共用同一份配置,cluster-announce-ip 全部相同,集群身份冲突 |
节点命名与 IP 不对应(如 master2 用 .101) |
排查时极易看错节点,建议命名与 IP 末位对齐 |
3.3 每个节点的配置文件
port 6379
bind 0.0.0.0
protected-mode no
appendonly yes
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
cluster-announce-ip 172.30.0.101
cluster-announce-port 6379
cluster-announce-bus-port 16379
| 参数 | 说明 |
|---|---|
cluster-enabled yes |
开启集群模式,节点才能参与槽分配 |
cluster-config-file nodes.conf |
集群状态持久化文件,见 3.5 |
cluster-node-timeout 5000 |
节点超时判定阈值,单位毫秒 |
cluster-announce-ip |
对外宣告的 IP。容器/NAT 场景必须显式指定,否则节点宣告的是容器内网地址,外部连不上 |
cluster-announce-port |
对外宣告的客户端端口 |
cluster-announce-bus-port |
对外宣告的集群总线端口 |
cluster-announce-ip 必须是每个节点自己的 IP 。这一点是整份笔记里最致命的隐患:如果所有容器共用同一份 conf、都写着 172.30.0.101,那么 6 个节点都会向集群宣告"我是 172.30.0.101",彼此身份无法区分,槽分配必然错乱------后面第九节会结合日志展开。
cluster-announce-* 三个参数的目的只有一个:让节点在"自己看到的地址"与"别人能连到的地址"不一致时,主动告诉别人该用哪个地址。跨 NAT、容器、云主机端口映射的场景都依赖它。
3.4 创建集群
redis-cli --cluster create \
172.30.0.101:6379 172.30.0.102:6379 172.30.0.103:6379 \
172.30.0.104:6379 172.30.0.105:6379 172.30.0.106:6379 \
--cluster-replicas 1
输出解读:
Master[0] -> Slots 0 - 5460 ← 5461 个槽
Master[1] -> Slots 5461 - 10922 ← 5462 个槽
Master[2] -> Slots 10923 - 16383 ← 5461 个槽
Adding replica 172.30.0.105:6379 to 172.30.0.101:6379
Adding replica 172.30.0.106:6379 to 172.30.0.102:6379
Adding replica 172.30.0.104:6379 to 172.30.0.103:6379
16384 / 3 = 5461.33,无法整除,因此三个 master 分别分到 5461 / 5462 / 5461 个槽。具体哪个从节点配到哪个主节点是随机的,不是按 IP 顺序对应。
末段 [OK] All 16384 slots covered. 表示 16384 个槽全部被覆盖,集群可用。
参与 cluster create 的节点必须是空的 :没有数据、没有历史集群状态(nodes.conf 不存在或已被清理)。否则会报 Node ... is not empty。
3.5 nodes.conf 是什么
cluster-config-file nodes.conf
这是集群状态的自维护文件,由节点在运行时自动写入,内容包含:
| 内容 | 说明 |
|---|---|
| 本节点 ID | 40 位十六进制,集群内唯一,创建后不再变化 |
| 已知节点列表 | 每个节点的 IP、端口、角色、主节点 ID |
| 槽分配表 | 每个槽归属哪个节点 |
| epoch | currentEpoch / configEpoch |
| 集群状态 | cluster_state:ok / fail |
三条铁律:
- 不要手工编辑,改错了集群直接崩;
- 不要删除(除非你确实要重建整个集群),删除等于让节点忘记自己的身份;
- 每个节点必须有独立的文件路径 ,多个节点共用一个
nodes.conf会导致节点 ID 冲突。
它的位置由 cluster-config-file 指定,相对路径以 dir 为基准。容器场景建议放在挂载目录内,保证重建容器后身份不丢。
四、集群通信:Gossip 与心跳
4.1 ping / pong 携带的信息
所有节点周期性互相通信,一次 ping 与一次 pong 结构相同,仅消息类型不同。携带内容包括:
| 字段 | 用途 |
|---|---|
| 节点 ID | 唯一身份 |
| 所属分片 / 主从关系 | 谁是 master、谁复制谁 |
| 槽位图(bitmap) | 该节点持有哪些槽,16384 bits = 2KB |
currentEpoch / configEpoch |
版本号,用于解决配置冲突 |
| 集群状态 | 是否 ok |
| gossip 段 | 顺带携带若干其他节点的状态 |
所以"2KB 的位图就能告知自己管理的槽":恰好 16384/8 = 2048 字节。
4.2 为什么随机抽样而非全量广播
9 个节点全量互发:9 × 8 = 72 组心跳
N 个节点:N × (N-1) ≈ N² 量级
心跳量随节点数呈平方增长。Redis 的做法是每秒只随机挑几个节点发 ping,再靠 gossip 段把"我听到的别人状态"顺带传播出去。这样每个节点每秒只发常数级别的包,全局信息仍能近似收敛。
4.3 集群总线
节点间通信走独立的集群总线端口 (port + 10000),使用二进制协议,与客户端协议完全不同。这也是容器部署必须同时映射 6379 和 16379 的原因------只映射 6379 时,客户端能连、节点之间却握不上手。
五、故障判定:PFAIL 与 FAIL
5.1 PFAIL(主观下线)
A 向 B 发 ping,B 没有如期回 pong
→ A 尝试重置与 B 的 TCP 连接
→ 仍连不上,且持续超过 cluster-node-timeout
→ A 把 B 标记为 PFAIL
PFAIL 只是 A 的个人视角,与 Sentinel 的 SDOWN 完全对应。单个节点的网络问题不应引发全局切换。
5.2 升级为 FAIL(客观下线)
A 通过 gossip 得知其他节点对 B 的判断
→ 每个节点各自维护一份"下线列表"
→ 当报告 B 为 PFAIL 的【master】数量超过【master 总数的一半】
→ A 把 B 标记为 FAIL,并广播出去
→ 其他节点收到后同样标记 FAIL
判定门槛是 majority of masters,从节点不参与这项判断。
举例:3 主 3 从的集群,某 master 被 2 个 master 报告 PFAIL,即达到多数(>1.5),升级为 FAIL。若有 3 个 master 挂了,剩下的 master 数量已不足多数,连 FAIL 都判定不出来------这正是集群整体 fail 的成因之一。
5.3 三种集群失效情形
| 情形 | 结果 |
|---|---|
| 某个分片的主节点与所有从节点都挂 | 该分片的槽无人负责,若 cluster-require-full-coverage=yes(默认),整个集群拒绝服务 |
| 某个分片只有主节点、没有从节点,且主节点挂 | 同上,无节点可接班 |
| 超过半数的 master 挂了 | 无法形成多数,故障迁移无法执行,集群进入 fail 状态 |
cluster-require-full-coverage 是这里的关键开关:
| 取值 | 行为 |
|---|---|
yes(默认) |
任一槽不可用 → 整个集群返回 CLUSTERDOWN,全部请求失败 |
no |
只影响不可用的槽,其余槽照常服务 |
生产上是否设为 no 取决于业务能否容忍"部分 key 不可用"。设为 no 会降低"全库不可用"的风险,但会引入"部分数据静默失败"的风险。
六、故障迁移:从节点接班
当 FAIL 的节点是 master 时,它的从节点会发起故障迁移。
6.1 资格判定
从节点与主节点最后一次通信距今 > cluster-node-timeout × cluster-replica-validity-factor
→ 认为自身数据过于陈旧,放弃参选
cluster-replica-validity-factor 默认 10。设为 0 表示不做陈旧性检查(任何从节点都可参选,但可能选到数据严重落后的节点)。
6.2 休眠排名
合格候选者不会同时发难,而是先各自休眠:
休眠时间 = 500ms + random(0, 500ms) + rank × 1000ms
| 组成 | 作用 |
|---|---|
| 500ms 基础 | 给 FAIL 判定留出传播时间 |
| 0~500ms 随机 | 打散同时唤醒的候选者 |
rank × 1000ms |
按复制 offset 排名:offset 越大(数据越新)rank 越小,唤醒越早 |
数据最新的从节点最早醒来,先发拉票,通常就先赢------这保证了"优先选数据最全的节点",尽量少丢数据。
6.3 拉票与晋升
① 醒来的从节点 C 向所有 master 发送 FAILOVER_AUTH_REQUEST
② 每个 master 在同一 epoch 内只投一票,投给第一个请求者
③ C 收到的票数 > 主节点总数的一半 → 晋升
④ C 执行 SLAVEOF NO ONE,继承原主的槽与 configEpoch
⑤ 其余从节点改为复制 C
⑥ 广播新配置,所有节点更新槽映射
只有 master 有投票权,每个 master 每个 epoch 只有一票。epoch 机制与 Sentinel 相同,用来防止旧配置覆盖新配置。
6.4 与 Sentinel 的差别
| 维度 | Sentinel | Cluster |
|---|---|---|
| 故障判定 | SDOWN / ODOWN,quorum 可配 | PFAIL / FAIL,多数 master |
| 执行者 | 独立的哨兵进程 | 集群内节点自身 |
| 是否需要额外进程 | 需要 | 不需要 |
| 适用规模 | 单组主从 | 分片集群 |
七、扩缩容
7.1 add-node:默认作为 master 加入
redis-cli --cluster add-node 172.30.0.107:6379 172.30.0.101:6379
| 参数 | 含义 |
|---|---|
| 第一组地址 | 新节点地址 |
| 第二组地址 | 集群中任意一个已有节点地址(作为引路人) |
新节点默认以 master 身份加入,且持有 0 个槽
若想把它加为从节点,必须显式指定:
redis-cli --cluster add-node 172.30.0.107:6379 172.30.0.101:6379 \
--cluster-slave --cluster-master-id <目标master的node-id>
加入后新 master 不持有任何槽,必须 reshard 才有流量,否则它只是个空转节点。
7.2 reshard:迁移槽
redis-cli --cluster reshard 172.30.0.101:6379
交互式提问三项:
| 提问 | 填写 |
|---|---|
| 迁移多少个槽? | 例如 4096(4 分片扩到 5 分片时按 16384/4 估算) |
| 哪个节点接收? | 填写目标节点的 node ID,不是 IP |
| 从哪些节点搬? | 填 all 表示从所有节点均摊,也可指定具体 node ID |
注意单词是 reshard(重新切分),不是 reshared(重新分享),多写一个 e 会报错。
迁移的实际过程(这解释了 ASK 重定向):
① 源节点把槽标记为 MIGRATING
② 目标节点把槽标记为 IMPORTING
③ 逐 key 迁移:MIGRATE 命令把 key 搬到目标节点
④ 迁移期间该槽的请求:源节点若还持有 key 则正常处理,
若 key 已迁走则回 ASK 重定向
⑤ 全部 key 迁完,槽所有权正式转交,广播新配置
迁移是按 key 逐个搬,不是整体拷贝文件,这正是"只移动必要数据、避免大规模调整"的实现方式。
7.3 del-node:删除节点
redis-cli --cluster del-node 172.30.0.101:6379 <要删除的node-id>
| 删除对象 | 前置条件 |
|---|---|
| 从节点 | 可直接删 |
| 主节点 | 必须先 reshard 把它的槽全部迁走 ,否则报错 Node ... still holds slots |
先把槽迁移出去 (reshard 清空槽)。只迁数据不迁槽是没用的,判定依据是"是否还持有槽"。
删除主节点前如果它还有从节点,建议先删从节点,或让从节点迁移到其他主节点(cluster-allow-replica-migration 默认 yes,会在主节点消失后自动重新分配从节点)。
八、客户端使用
8.1 必须加 -c
redis-cli -c -h 172.30.0.101 -p 6379
连上集群中任意一个节点,就相当于连上整个集群 ------但这依赖 -c 选项。不加 -c 时,如果 key 不在当前节点,客户端只会拿到 MOVED 报错而不会自动跟过去。加上 -c 后,客户端会自动解析重定向并重连目标节点。
8.2 cluster nodes
127.0.0.1:6379> cluster nodes
输出每行一个节点,字段为:node-id → ip:port@bus-port → flags → master-id → ping-sent → pong-recv → config-epoch → link-state → slot 范围。
flags 里常见取值:
| flag | 含义 |
|---|---|
myself |
当前连的这个节点 |
master / slave |
角色 |
fail? |
正在被判定为 FAIL 的过程中 |
fail |
已判定 FAIL |
handshake |
握手阶段 |
noaddr |
地址未知 |
8.3 集群模式的额外限制
| 限制 | 说明 |
|---|---|
| 只有 db 0 | Cluster 不支持多数据库,SELECT 1 会报错 |
| 跨槽多 key 命令受限 | MGET/MSET/事务/Lua 涉及的 key 必须在同一槽,否则 CROSSSLOT |
不支持跨槽的 KEYS 全量扫描 |
只能在单节点上执行,逻辑上要遍历所有 master |
| 复制仍是异步的 | 故障迁移会丢数据,与主从复制同理 |