Redis集群的键分布机制

Redis 集群的键分布机制基于哈希槽(Hash Slot),它是一种无中心的分布式哈希算法,用于确定键存储在哪个节点上。以下是 Redis 集群键分布机制的详细说明:

1、键分布基本原理

1.1 哈希槽的概念

  • Redis 集群将所有的键分布在 16384 个哈希槽(编号从 0 到 16383)中。
  • 每个节点负责一部分哈希槽。键通过哈希算法映射到某个哈希槽,再由负责该哈希槽的节点存储。

1.2 哈希算法

Redis 集群通过 CRC16 算法对键进行哈希,并对结果取模 16384 来计算哈希槽:

1.3 哈希槽与节点的映射

  • 集群中,每个节点负责一组连续的或不连续的哈希槽。
  • 例如:
    • 节点 A 负责哈希槽 0-5460
    • 节点 B 负责哈希槽 5461-10922
    • 节点 C 负责哈希槽 10923-16383

2、特殊键模式的处理

2.1 普通键

  • 如果键是一个普通字符串,直接对整个字符串进行哈希。
    • 例如,键 "user:1001" 映射到一个哈希槽。

2.2 使用{}的键

  • Redis 支持通过 {} 指定键的哈希部分,这样可以强制多个键映射到同一个哈希槽。
    • 仅对 {} 中的部分进行哈希计算。
    • 例如:
      • "user:{1001}:profile" "user:{1001}:settings" 都只对 {1001} 进行哈希,因此会映射到同一个哈希槽。
        用例
  • 这种机制用于键分组,保证一组相关的键分布在同一个节点上,适用于 MSET/MGET、事务、Lua 脚本等操作。

3、节点分布和迁移

3.1 初始分布

  • 当创建集群时,哈希槽在节点之间平均分配。
  • 可以使用 redis-cli --cluster create 命令自动完成初始分布。

3.2 数据迁移

  • 当添加或移除节点时,Redis 集群会通过重新分片(resharding)将哈希槽重新分配。
  • Redis 内置的数据迁移机制:
    • 使用 CLUSTER SETSLOT 和 MIGRATE 命令在节点之间移动键。
    • 例如,当哈希槽 5460 从节点 A 移动到节点 B 时,相关的键也会从节点 A 迁移到节点 B。

4. 数据一致性和多键操作

4.1 一致性保证

  • 一个键只能存储在一个节点上。
  • Redis 集群使用主从复制(Replication)保证数据的高可用性:
    • 每个主节点有一个或多个从节点。
    • 如果主节点宕机,从节点会被提升为主节点。

4.2 多键操作的限制

  • 多键操作(如 MSET/MGET 或事务)要求所有涉及的键在同一个哈希槽中。
  • 如果不在同一个哈希槽,Redis 会报错:
bash 复制代码
(error) CROSSSLOT Keys in request don't hash to the same slot
  • 解决方法:使用 {} 将相关键分组到同一个哈希槽。

5. 键分布示例

假设我们有以下键:

bash 复制代码
user:1001:name
user:1002:name
order:5001
order:{5001}:status
  • user:1001:name 的哈希槽:
bash 复制代码
CRC16("user:1001:name") % 16384 = 14239

例如,该键被分配到节点 C。

  • order:{5001}:status 和 order:{5001}:details:
    • 只对 {5001} 进行哈希计算,映射到同一个哈希槽。

6. 常用命令

6.1 查看键的哈希槽

bash 复制代码
redis-cli -c cluster keyslot <key>

示例:

bash 复制代码
redis-cli -c cluster keyslot "order:{5001}:status"

6.2 查看哈希槽分布

bash 复制代码
redis-cli -c cluster slots

6.3 迁移哈希槽

通过 redis-cli --cluster reshard 工具操作。

总结

  • Redis 集群的键分布机制通过 16384 个哈希槽实现。
  • 使用 {} 可以将相关键分配到同一个哈希槽,从而支持多键操作。
  • 哈希槽的分布由集群自动管理,节点之间支持动态迁移以适应集群规模的变化。
相关推荐
专业软件系统开发1 小时前
药品说明书查询系统源码 本地数据库 PHP版本
数据库·查询系统源码·说明书查询源码
冉冰学姐4 小时前
SSM足球爱好者服务平台i387z(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
数据库·ssm 框架·足球爱好者服务平台
大飞记Python4 小时前
部门管理|“编辑部门”功能实现(Django5零基础Web平台)
前端·数据库·python·django
清风6666666 小时前
基于单片机的智能收银机模拟系统设计
数据库·单片机·毕业设计·nosql·课程设计
资深低代码开发平台专家7 小时前
PostgreSQL 18 发布
数据库·postgresql
007php0077 小时前
百度面试题解析:微服务架构、Dubbo、Redis及其一致性问题(一)
redis·百度·docker·微服务·容器·职场和发展·架构
与衫7 小时前
在 VS Code 里看清你的数据流向:Gudu SQL Omni 实测体验
数据库·sql
Element_南笙8 小时前
吴恩达新课程:Agentic AI(笔记2)
数据库·人工智能·笔记·python·深度学习·ui·自然语言处理
长安城没有风8 小时前
从入门到精通【Redis】Redis 典型应⽤ --- 分布式锁
数据库·redis·分布式