redis高级(存储能力问题)

存储能力问题

主从和哨兵可以解决高可用、高并发读的问题。但是存在两个问题:

  • 海量数据存储问题
  • 高并发写问题

使用分片集群可以解决上述问题:

  • 集群中有多个master,每个master保存不同数据
  • 每个master都可以有多个slave节点
  • master之间通过ping检测彼此健康状态
  • 客户端请求可以访问集群任意节点,最终都会被发到正确节点

散列插槽

redis会把每一个master节点映射到0~16383共16384个插槽(hash slot)上,查看集群信息时就能看到:

数据key不是与节点绑定,而是与插槽绑定。redis会根据key的有效部分计算插槽值,分两种情况:

  • key中包含{},且其中至少1个字符,{}中的部分是有效部分
  • key中不包含{},整个key都是有效部分

redis如何判断某个key应该在哪个实例:

  • 将16384个插槽分配到不同的实例
  • 根据key的有效部分计算哈希值,对16384取余
  • 余数作为插槽,寻找插槽所在实例

如何将同一类数据固定的保存在同一个redis实例:

  • 这一类数据使用相同的有效部分,例如key都以{typeid}为前缀

集群伸缩

查看帮助文档

故障转移

当集群中有一个master宕机会发生什么

  1. 首先是该实例失去连接
  2. 然后是疑似宕机
  3. 最后是确定下线,自动提成一个slave为新的master

手动故障转移:

利用cluster failover命令可以手动让集群中的某个master宕机,切换到执行cluster failover命令的这个slave节点,实现无感知的数据迁移,流程:

  1. slave节点告诉master节点拒绝任何客户端请求
  2. master返回当前的数据offset给slave
  3. 等待offset与master一致
  4. 开始故障转移
  5. 标记自己为master,广播故障转移的结果

手动的failover支持三种不同模式:

  • 缺省:默认流程,如上
  • force:省略对offset的一致性校验
  • takeover:直接执行第五步,忽略数据一致性、忽略master状态和其他master的意见

RedisTemplate访问分片集群

方式与哨兵基本一致:

  1. 引入redis的starter依赖
  2. 配置分片集群地址(所有)
  3. 配置读写分离
相关推荐
IT陈图图10 分钟前
CANN生态数据引擎:minddata的缓存策略与性能调优
缓存·cann
Re.不晚36 分钟前
MySQL进阶之战——索引、事务与锁、高可用架构的三重奏
数据库·mysql·架构
老邓计算机毕设1 小时前
SSM智慧社区信息化服务平台4v5hv(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面
数据库·ssm 框架·智慧社区、·信息化平台
麦聪聊数据1 小时前
为何通用堡垒机无法在数据库运维中实现精准风控?
数据库·sql·安全·低代码·架构
2301_790300961 小时前
Python数据库操作:SQLAlchemy ORM指南
jvm·数据库·python
m0_736919101 小时前
用Pandas处理时间序列数据(Time Series)
jvm·数据库·python
亓才孓1 小时前
[JDBC]PreparedStatement替代Statement
java·数据库
m0_466525292 小时前
绿盟科技风云卫AI安全能力平台成果重磅发布
大数据·数据库·人工智能·安全
爱学习的阿磊3 小时前
使用Fabric自动化你的部署流程
jvm·数据库·python
摇滚侠3 小时前
阿里云安装的 Redis 在什么位置,如何找到 Redis 的安装位置
redis·阿里云·云计算