火山引擎缓存数据库:如何构建超大规模缓存集群的无感弹性能力

业务在涨,Redis 的缓存容量就得跟着扩。但对不少团队来说,一次水平扩容往往意味着心惊胆战:迁移期间请求莫名报错、多键操作反复重试、长尾延迟一路飙升,甚至只能专门挑业务低峰、等到半夜才敢动手。

每一次 Redis 集群的水平扩缩容,本质上都是一场在「搬数据」与「保服务」之间的博弈。社区用了近十年时间,从逐键(Per-key)搬迁,演进到以槽(Per-Slot)为单位的原子槽迁移(Atomic Slot Migration,简称 ASM) 。本文将沿着「早期 Redis Cluster 迁移方案痛点 → ASM 演进历程 → 火山引擎缓存数据库补强 → 迁移原理与云上增强 → 未来方向」这条主线,来叙述火山引擎缓存数据库如何把这套经过社区标准化验证的方案,带给每一位 Redis 用户。

按键(Per-Key)粒度迁移,扩缩容的主要卡点

Redis Cluster 集群以 Hash Slot(哈希槽)作为数据分片和路由的基本单位,把键空间划分为 16,384 个槽,再由不同节点各负责其中一部分。一次分片扩容分为扩增节点与 Slot 迁移两个步骤。Redis集群水平扩缩容的核心问题,说到底就是 Slot 如何搬迁的问题。

在最早的 Redis Cluster 扩缩容协议中,数据按 Key 为最小粒度搬迁,依赖 ASK、MOVE 两个协议命令完成。

一次 Slot 槽迁移在源节点与目标节点之间进行。源端逐 Key 分批迁移,目标端确认成功后再删除源端数据。迁移期间,源端仍存在的 Key 继续在源端读写;源端不存在的 Key通过 ASK 临时重定向到目标端。一旦请求涉及分散在两端的多个 Key,就会收到 TRYAGAIN 错误。槽内数据搬空后,再切换槽归属,由 MOVED 引导客户端更新路由。

这套机制维持了在线访问,却把迁移成本带到了业务侧:

1. 重定向开销较大: 逐 Key 序列化和 RESTORE 恢复、迁移期间的 ASK 临时跳转、MOVED 路由更新,往返请求增加延迟。如果 key 较大会导致较多抖动。

2. 多键操作受阻: 当同槽 Key 分散在两端时,多键命令(如 mget/mset)会收到 TRYAGAIN,只能反复重试。迁移中挂起时间较长会直接影响业务使用。

3. 异常场景无法回滚: 大 Key 触发目标端容量限制等异常时,会出现槽(Slot)跨机的临时问题,无法回滚,极端情况需要停服处理。

4. 迁移速度慢: 在 Per Key 搬迁时,串行化打包、恢复和确认等耗费较久;原生 Redis Cluster 的 gossip 协议的广播效应、收敛慢会进一步拖慢迁移速度

路由按槽管理,数据却按 Key 逐步迁移,同一个槽会暂时由两端共同承接请求。ASK 协议是逐Key级别的临时重定向,MOVE 协议才是逐 Slot 级别的路由更新重定向。要降低业务感知,就需要把关注点从"如何搬 Key"转向"如何让整个槽一致切换",让槽迁移具备原子性。原子槽迁移(ASM)在技术实现上,本质就是将 ASK/MOVE 的早期 Redis Cluster 搬迁协议,变为 MOVE Only 的下一代迁移方法。

图1. Per-Key 迁移 vs Per-Slot 迁移

ASM 的演进:标准走向成熟,仍有两道门槛

历史上社区很早就发现Redis集群按 Key 迁移的不足,业内一直在寻找一套更平滑、更可控、可回滚的方案。2022 年 7 月,早在 Redis 开源分叉之前,社区就把原子槽迁移列为重点方向(#10933)。社区贡献者在讨论业内开发者提议的 Slot Replication 具体实现和大规模实践经验时,也发现其在数据搬迁中有小瑕疵:迁移中主备数据并不具备一致性,必须在完成后重新全量同步主备数据,中间步骤执行中如果有切换发生,则会有导致数据丢失的可能。

Redis 社区分叉后,Valkey 社区持续推进 ASM 的完善与标准化(#23、#1949)。随着 Valkey 9.0 正式发布,这项技术才真正走向成熟。但社区的最新发布不等于人人可用,标准方案面前仍横着两道现实门槛:

  • 普惠性不足。 将 Valkey 9.0 做主力版本应用于产业尚需时日,业内仍有大量集群运行在早期 Redis 引擎版本上。如何让业务不用升级版本,从而获取到最新的版本能力,是最现实的问题。

  • 规模化难题待解。 社区方案仍依赖 Gossip 协议作为内部消息总线,在超大规模集群中,消息广播与路由收敛的速度会明显变慢。仅解决搬迁,而不优化控制协议通道,在大集群中不容易发挥其优势。

火山引擎缓存数据库的两道补强:标准能力,落地存量与超大集群

原子槽迁移技术大规模实践落地中,仅靠社区方案并不够。火山引擎缓存数据库在普惠性和大集群化上做了补强:

1. 回迁 ASM 能力至 Redis 版本,让标准能力普惠存量业务。 业内大量集群仍运行在 Redis 引擎早期版本,横跨 2~3 大版本至 Valkey 9 并非朝夕。火山引擎缓存数据库 Redis 把社区成熟的 Valkey 9 版本 ASM 能力向下兼容(Porting-back)到 Redis 5.0~7.0,让这项标准能力无需大版本升级,即可在存量集群上直接落地。

2. 去 Gossip 中心化,撑住超大规模集群。 社区方案仍基于 Gossip 协议构建内部通信总线,在超大规模 Redis/Valkey 集群中,消息广播与路由收敛较慢。火山引擎缓存数据库在所有版本中均采用去 Gossip 的中心化并行控制模式,消除广播风暴,将槽交接的等待时长压到百毫秒以内(通常仅 20~40ms)。

在以上的工作实施后,火山引擎缓存数据库引擎常态可支撑 2000 分片规模的超大集群,配合单分片 1GB/s 的高带宽,进一步放大标准 ASM 在超大集群弹性场景下的红利。

ASM 无感迁移流程和火山引擎缓存数据库的增强

一次 ASM 迁移的旅程

以 3 分片集群水平扩容到 5 分片为例,整个过程分为扩增节点与 Slot 迁移两个阶段:先把数据搬迁到新增分片,再通过 Slot 交接更新请求路由。

图2. 3分片扩容到 5 分片的流程示意

一个 ASM 任务可以包含多个槽,由源端与目标节点协商完成数据复制和槽交接。目标端正在导入的槽会被隔离,避免业务提前读到尚未准备完整的数据。

一次完整的 ASM 迁移,可以概括为四个步骤:

  1. 源端生成待迁移槽的数据快照,并传输到目标端;

  2. 快照传输期间,源端持续记录并发送这些槽的后续增量变更;

  3. 增量收敛后,源端短暂暂停客户端写命令,完成最终同步;

  4. 目标端接管槽,路由更新后请求转向目标端,源端清理旧数据。

图3. 一次 AtomicSlotMigrate 迁移流程

经典 Per-Key 迁槽过程中,一个槽里的部分 Key 已经到达目标节点,另一部分还留在源节点。槽的逻辑边界是完整的,数据的物理分布却被暂时拆开,业务侧感知到的就是 ASK/MOVE 重定向报错。

ASM 则把整个 Slot 当成一个不可分割的单元来搬迁,将迁移机制从「代理搬运」变为特化的部分 Slot 主备复制。对业务而言,感知到的是最后的 MOVE 路由切换,过程平滑无感。

对比维度 Per-Key 搬迁(ASK+MOVE) ASM Per-Slot 搬迁(MOVE Only)
搬迁粒度 逐 Key 搬迁(DUMP+RESTORE+DELETE) 整槽复制,本质是部分 Slot 主备复制
中间态数据 同一 Slot 拆到源、目标两端 Slot 完整留在源端,目标端隔离收副本
业务请求 已迁 Key 触发 ASK 重定向,多一次往返 全程由源端响应,无 ASK、无额外往返
多 Key 操作 跨两端返回 TRYAGAIN,反复重试 Key 始终同节点,无 TRYAGAIN
大 Key 同步搬迁阻塞主线程,可能心跳超时 后台 fork 生成槽快照,分块重放,不阻塞主线程
失败能否回滚 不能原子回滚: 两端数据都不完整,需反向逐 Key 迁回或人工修复 天然可回滚: 丢弃目标副本即可,槽归属从未离开源端,业务零中断

云上弹性环境的必答题:中心式架构的 ASM 增强

社区 ASM 方案解决了数据准备与归属切换,但云上弹性环境还要继续追问:交接能否经得住复杂的故障切主?数据清理是否足够平滑?我们的结论是,只有 ASM 配合先进的集群管理,才能让用户真正无感。

火山引擎缓存数据库基于自研 Alchemy 架构,以中心化、命令式的管控取代社区基于 Gossip 的去中心化协商,路由收敛更快、权责更明确;并针对 SlotFailover 和后置数据清理两个关键环节做了深度优化。

图4. 火山引擎缓存数据库中心并行命令式架构

两阶段 SlotFailover:把故障切主纳入交接考量

社区 ASM 的批量槽交接只靠源端和目标端的主节点协商,链路相对脆弱。在异步主从复制下,交接状态同步与数据准备之间存在时间差:如果目标端主节点恰好在交接窗口故障,接管的副本没有同步到相应状态,就可能进入数据丢失的未知状态。而 Gossip 架构缺乏全局视角的权威信息,这个问题在社区至今仍是开放议题(#2723,#1355,#2724)。

图5. SlotFailover 交接叠加目标端节点故障

火山引擎缓存数据库把这段交接扩展为两阶段 SlotFailover:由中心管控 HA 组件基于全局分片信息判定数据搬迁状态,确认主从复制状态后再授权交接,并借助中心化元信息给出权威的槽归属界定。一旦中途发生切主或任务失败,控制面会依据实际的任务状态与槽状态完成恢复和收尾。

图6. 火山引擎缓存数据库 ASM两阶段 SlotFailover

后置数据清理:动态频率感知,压平长尾延迟

数据搬完,并不代表业务影响已经结束。源端还要回收旧数据,失败任务也可能留下需要处理的导入数据。清理需要遍历和删除,如果持续挤占主线程,业务请求就会排队;仅靠降低清理粒度,很难真正控制住长尾延迟(见 #3405)。

火山引擎缓存数据库采用动态负载感知的自适应清理频率控制,在业务处理与数据回收之间权衡延迟目标:业务负载高峰期自动降低清理频率,从而压平长尾延迟,让延迟表现更平滑、可预测。

小结:超大规模集群的高可用答卷

只有中心化的去 Gossip 架构,才能充分释放 ASM 在超大集群弹性场景下的优势:更强的故障切换容忍能力、更快的路由收敛,最终让弹性体验真正无感。

ASM 的下一站:从「能搬」到「搬得聪明」

ASM 尚未抵达终态,仍在快速演进。当前实现解决了数据迁移的流程、通道与可靠性问题,但「何时决策搬迁、搬迁哪些槽」还缺少细粒度的决策依据,例如每个槽的 CPU、容量、流量等指标;社区也在紧密讨论并迭代 SlotStat 等可观测 Metrics(#3966、#4455)。

ASM 的价值不止于「把数据搬过去」:搬迁本身是一个决策过程------搬多少个槽、搬到哪里、能不能顺利搬完,这些问题的答案理应在启动搬迁之前就有预判。

火山引擎缓存数据库正结合社区 ASM 的后续演进方向,在三个维度上持续投入:

  • 可观测: 基于 Slot 状态实现搬迁全链路的实时观测,让运维团队随时掌握迁移进度、数据同步延迟和节点负载。

  • 可控制: 迁移任务可灵活中断、可回滚、可限速,让「半夜惊魂」变成「白天安心」。

  • 可预判: 在搬迁启动前评估目标节点的容量、Slot 分布和负载水位,提前规避「搬过去却装不下」或「搬过去把目标节点压垮」的风险。

ASM 的标准化仍在社区快速演进。火山引擎缓存数据库完全兼容社区 ASM 协议,并将持续跟进社区生态迭代,把成熟能力第一时间落地到缓存数据库产品中。

火山引擎缓存数据库 Redis 是兼容 Redis 引擎的托管服务,以中心式 HA 组件提供确定式的管控运维能力。与此同时,团队也在积极推进社区 Valkey 对 Raft Node 内置架构的支持(见 #3543),并规划把 ASM 的增强流程回馈社区。

下一次扩容,不妨把「半夜惊魂」换成「无感交接」。欢迎前往火山引擎控制台体验,或联系我们了解更多。

更多技术干货,欢迎关注字节跳动数据库微信公众号

参考资料

相关推荐
IT枫斗者枫哥35 分钟前
Java 异步导出只测最终行数,为什么下载时仍会少一行?
java·后端
阿里云大数据AI技术35 分钟前
MaxAgent 实战课堂(二):从单作业诊断到作业定时巡检
人工智能
用户78506119579736 分钟前
不会前端,我靠 AI 和 Python 做了一个 4K 壁纸站
后端
噜噜学上位机37 分钟前
什么是多态?
后端
泯泷39 分钟前
给你一个免费的20人 AI 团队,你的胜算真的变大了吗?
人工智能·llm
站大爷IP40 分钟前
Python的类方法把我坑惨了,原来@classmethod和@staticmethod的区别这么大
后端
SelectDB40 分钟前
多模态检索用什么数据库?向量、全文与 SQL 混合检索选型指南
数据库
一起学安全技术41 分钟前
拆大模型 10|结构化输出:让模型返回数据,而不是一段话
人工智能·语言模型·json
Gopher_HBo1 小时前
StartCPUProfile 秒返回,是谁把 cpu.pprof 写满的?
后端