redis大key优化

1.什么是大key以及可能造成的异常

1.1 什么大key

redis是key,val型存储结构,key允许的最大大小为512MB,空字符串也是有效的键。大key是指value很大(占用大内存)。

常见的大key,大致可以这么分(根据具体redis规格以及实际压测而定):

(1)单个String类型的Key大小

(2)集合类型数量以及整体内存

1.2 大key危害

(1)影响吞吐qps

redis是单线程执行命令,大key耗时相对长,压测会发现其占用整个请求处理时间长。qps要求高的场景,影响其他接口请求,甚至可能会触发上游请求超时。

(2)占用大量带宽,甚至引发网络阻塞

例如2MB的缓存,1000qps,1秒大约2000Mb的流量。

(3)阻塞工作线程

del删除大key,造成主库较长时间的阻塞并引发同步中断或主从切换;

(4)redis内存分布不均匀

Redis集群中的某个节点内存使用量超过其余节点,数据迁移以Ke为基本单元,故无法实现均衡各个节点上的内存。

2.怎么识别大key

2.1 各个云厂商提供的监控

例如阿里云: https://help.aliyun.com/zh/redis/user-guide/view-monitoring-data?spm=a2c4g.11186623.0.0.6f3bd584t9imPV

可以从阿里云的监控得到: (1)热点key (2)慢key,延时高的key。

2.2 redis自带工具

redis-cli --bigkeys

2.3 开源工具

3.优化大key

3.1 本地缓存

将更新频率低,但是使用量高的数据使用本地缓存替代redis,还可以加快访问速度。

3.2 大key拆分

(1)对于集合类型

若业务允许,可以将集合类型拆分成一个一个string类型,同时统一前缀,通过mget和mset来访问。

拆分两个或者多个集合。

(2)string类型

存储关键数据,剔除非关键数据,例如只存储用户的id,权限id,而非整个用户信息或权限信息

3.3 删除无用的数据

(1)每条数据都设置过期时间

(2)业务删除的数据,在redis中找个合适时间,例如每次上线,业务低频时间,进行删除。

相关推荐
熬夜的咕噜猫26 分钟前
MySQL主从复制与读写分离
网络·数据库·mysql
道清茗27 分钟前
【MySQL知识点问答题】 备份技术、Invisible Indexes 和直方图的应用
数据库·mysql
芒果披萨27 分钟前
sql存储过程
java·开发语言·数据库
jnrjian34 分钟前
RAC 去除node的建议 dbca 和手动方法
数据库·oracle
TlYf NTLE1 小时前
redis分页查询
数据库·redis·缓存
翻斗包菜1 小时前
MySQL 全量、增量备份与恢复实战指南(含 mysqldump + binlog + XtraBackup)
数据库·oracle
|华|1 小时前
MySQL主从复制与读写分离
数据库·mysql
_下雨天.1 小时前
MySQL 全量、增量备份与恢复
数据库·mysql
TDengine (老段)1 小时前
TDengine IDMP 工业数据建模 —— 数据情景化
大数据·数据库·人工智能·时序数据库·iot·tdengine·涛思数据
Ujimatsu1 小时前
数据分析相关面试题-SQL部分
数据库·sql·数据分析