redis大key优化

1.什么是大key以及可能造成的异常

1.1 什么大key

redis是key,val型存储结构,key允许的最大大小为512MB,空字符串也是有效的键。大key是指value很大(占用大内存)。

常见的大key,大致可以这么分(根据具体redis规格以及实际压测而定):

(1)单个String类型的Key大小

(2)集合类型数量以及整体内存

1.2 大key危害

(1)影响吞吐qps

redis是单线程执行命令,大key耗时相对长,压测会发现其占用整个请求处理时间长。qps要求高的场景,影响其他接口请求,甚至可能会触发上游请求超时。

(2)占用大量带宽,甚至引发网络阻塞

例如2MB的缓存,1000qps,1秒大约2000Mb的流量。

(3)阻塞工作线程

del删除大key,造成主库较长时间的阻塞并引发同步中断或主从切换;

(4)redis内存分布不均匀

Redis集群中的某个节点内存使用量超过其余节点,数据迁移以Ke为基本单元,故无法实现均衡各个节点上的内存。

2.怎么识别大key

2.1 各个云厂商提供的监控

例如阿里云: https://help.aliyun.com/zh/redis/user-guide/view-monitoring-data?spm=a2c4g.11186623.0.0.6f3bd584t9imPV

可以从阿里云的监控得到: (1)热点key (2)慢key,延时高的key。

2.2 redis自带工具

redis-cli --bigkeys

2.3 开源工具

3.优化大key

3.1 本地缓存

将更新频率低,但是使用量高的数据使用本地缓存替代redis,还可以加快访问速度。

3.2 大key拆分

(1)对于集合类型

若业务允许,可以将集合类型拆分成一个一个string类型,同时统一前缀,通过mget和mset来访问。

拆分两个或者多个集合。

(2)string类型

存储关键数据,剔除非关键数据,例如只存储用户的id,权限id,而非整个用户信息或权限信息

3.3 删除无用的数据

(1)每条数据都设置过期时间

(2)业务删除的数据,在redis中找个合适时间,例如每次上线,业务低频时间,进行删除。

相关推荐
面向对象World1 小时前
正点原子Mini Linux 4.3寸800x480触摸屏gt115x驱动
linux·服务器·数据库
dinga198510261 小时前
mysql之联合索引
数据库·mysql
微风中的麦穗2 小时前
【SQL Server 2019】企业级数据库系统—数据库SQL Server 2019保姆级详细图文下载安装完全指南
大数据·数据库·sqlserver·云计算·个人开发·运维必备·sqlserver2019
zjttsh3 小时前
MySQL加减间隔时间函数DATE_ADD和DATE_SUB的详解
android·数据库·mysql
顾北123 小时前
SpringCloud 系列 04:Gateway 断言 / 过滤器 / 限流 一站式落地指南
java·开发语言·数据库
禹凕3 小时前
MYSQL——基础知识(NULL 值处理)
数据库·mysql
码云数智-大飞3 小时前
SQL Server 无法启动?常见原因及详细解决方法指南
数据库
8486981193 小时前
MySQL 只读库踩坑实录:为什么 INSERT/UPDATE 不报错,DELETE 却直接炸了?
数据库·mysql·hibernate
没事偷着乐琅3 小时前
二、Pandas 是啥 是数据库吗?
数据库·pandas
HEU_firejef3 小时前
实战篇(一)BitMap实现签到功能
java·redis