什么是Redis的大Key和热Key?项目中一般是怎么解决的?

一、首先我们要搞清楚大key和热key是什么。

1. 大Key

通常以Key的大小和Key中成员的数量来综合判定。比如Key本身的Value过大,一个String类型的Key,它的值为10 MB;Key中的成员数过多:一个ZSET类型的Key,它的成员数量为10000个。

2. 热key

通常以其接收到的Key被请求频率来判定,例如:QPS集中在特定的Key,Redis实例的总QPS为10000,而其中一个Key的每秒访问量达到了8000。

3. 导致的问题

  • 大Key一般产生的问题就是占用大量的带宽以及资源资源,导致系统出现OOM,访问阻塞等问题。
  • 热Key占用大量的CPU资源,影响其他请求并导致整体性能降低。

4. 如何找到大Key和热Key呢?

通过redis-cli的bigkeys和hotkeys参数查找大Key和热Key,当然如果有第三方监控平台也是可以的。

二、解决办法

1. 针对大key的问题

  • 我们可以对大Key进行拆分,例如将含有数万成员的一个HASH Key拆分为多个HASH Key,并确保每个Key的成员数量在合理范围。在Redis集群架构中,拆分大Key能对数据分片间的内存平衡起到显著作用。
  • 定期进行清理掉无效的key,腾出更多的内存空间。

2. 针对热Key的问题

  • 在Redis集群架构中对热Key进行复制,然后改名迁移到其他分片。例如将热Key foo复制出3个内容完全一样的Key并名为foo2、foo3、foo4,将这三个Key迁移到其他数据分片来解决单个数据分片的热Key压力。
  • 读写分离:如果热Key的产生来自于读请求,可以将实例改造成读写分离架构来降低每个数据分片的读请求压力,甚至可以不断地增加从节点。
  • 做好系统的监测,建立预警机制,提前做好防范。
相关推荐
gushinghsjj8 分钟前
元数据管理包含哪些?元数据管理如何支持数据分析?
数据库·oracle·数据分析
0xDevNull13 分钟前
Redis Lua 脚本详细教程
redis·缓存·lua
不愿透露姓名的大鹏14 分钟前
MySQL InnoDB核心参数深度优化/性能调优
运维·服务器·数据库·mysql
heimeiyingwang17 分钟前
【架构实战】图数据库Neo4j在社交系统中的应用
数据库·架构·neo4j
夕除22 分钟前
MVN--06
数据库·sql·mybatis
鸠摩智首席音效师22 分钟前
如何在 MacOS 上安装 PostgreSQL ?
数据库·macos·postgresql
℡終嚸♂68025 分钟前
SQL 注入:从原理到实战的完整指南
数据库·sql
MyY_DO25 分钟前
缓存穿透-damai
缓存
航Hang*27 分钟前
第2章:进阶Linux系统——第8节:配置与管理MariaDB服务器
linux·运维·服务器·数据库·笔记·学习·mariadb