Redis大key

Redis大key基本概念,影响

Redis 大 key 指在 Redis 中存储了大量数据的键,它会对 Redis 的性能和内存管理产生影响。

大key的定义与value的大小和元素数量有关,但这个定义并不是绝对的,而是相对的,具体取决于系统的使用场景和性能要求。大 key 通常有以下两种情况:

  • Value 存储占用空间大
  • 集合类型的Key中元素过多
    !\[Pasted image 20250227151208.png]
    造成的影响如下:

1.内存分布不均:大key占用过多的内存,可能导致Redis示例内存不足,触发淘汰策略或内存不足

2.阻塞请求:对大key的操作可能耗时过长,阻塞redis单线程,影响其他请求的响应时间

3.网络阻塞:读取大key时,返回的数据包过大,可能占满网络带宽,影响其他服务通信

4.持久化问题:大Key在生成RDB快照或AOF重写时会导致I/O压力增大,甚至引发服务暂停。

5.集群倾斜:在Redis集群中,大key可能导致某个分片负载过高,破坏数据均衡性。

Redis 大key是如何产生的

1、数据结构使用不当:将Redis用在不合适其能力的场景,如使用string类型存储大体积二进制文件或富文本数据。

2、业务设计不合理:没有对key中的成员进行合理拆分,导致个别key中的成员数量过多

3、未及时清理垃圾数据:没有定期清理无效数据

4、对业务预估不准确:业务上线前规划设计不足,为预见value的动态增长问题

5、过期时间设置不当:未给key设置过期时间或过期时间过长,导致value数量累积。

等等

Redis 大key如何检测

使用redis-cli --bigkeys

!\[Pasted image 20250227162153.png]

增加内存&流量&超时等指标监控

由于大key的value很大,执行读取时可能阻塞线程,这样Redis整体的每秒查询率会下降,并且客户端超时会增加,网络带宽会上涨,配置这些报警监控有助于我们发现大key的存在。

使用redis-rdb-tools离线文件分析工具

!\[Pasted image 20250227163346.png]

使用脚本扫描

编写脚本定期扫描redis的key,检查每个key中value的大小

Redis 大key如何处理

!\[Pasted image 20250227163630.png]

渐进式删除

  • 在Redis 4.0之前的版本中,由于没有提供异步删除的功能,删除大key可能会阻塞Redis的主线程,影响性能。因此,推荐使用渐进式删除,即逐步删除key中的元素,以减少对性能的影响。

惰性删除

  • 从Redis 4.0开始,引入了UNLINK命令,它支持异步删除key。这种方式称为惰性删除,因为它允许Redis在后台异步地删除key,从而减少对主线程的阻塞,提高性能。

value压缩:

  • 对存储在大key中的value进行压缩,以减少存储空间的占用。这可以通过使用压缩算法(如gzip、zlib等)来实现。压缩后的数据在读取时需要解压缩,可能会增加一些CPU开销,但可以显著减少内存使用。

value拆分:

  • 将大key中的value拆分成多个小的value,存储在不同的key中。这样可以减少单个key的大小,提高操作的灵活性和性能。拆分后,可以通过多个key来管理和访问原始数据。
相关推荐
我不会插花弄玉17 分钟前
4.string类型【由浅入深-redis】
数据库·redis·缓存
PHP实战开发录26 分钟前
MySQL数字排序为什么乱
数据库·mysql·php
不停喝水2 小时前
【前端转全栈java速通课】 项目实战④7-11节 操作数据库-登录-注册-修改密码-注销-mubatis-plus简化crud-
java·前端·数据库
leisoo80972 小时前
融资融券数据怎么查两融指标含义与杠杆观察方法 IG50免费开源股票数据API接口
开发语言·jvm·数据库·python·json
Aric_Jones2 小时前
pgsql内置publication/subscription功能,实现数据同步
数据库
有想法的py工程师2 小时前
PostgreSQL 字符集双重转义击穿 磁盘 I/O
数据库·postgresql
头发还在的女程序员2 小时前
【无标题】
网络·数据库·短剧小程序·短剧系统·海外短剧·短剧后台
千千寰宇2 小时前
[数据库系统] 数据库系统的设计原理研究
数据结构·数据库·database-opengemini/influxdb·database-dament/达梦
麦壳饼3 小时前
SonnetDB SQL 分页查询:LIMIT/OFFSET 与 FETCH 语法
数据库·sonnetdb