Redis优化和解决缓存问题

目录

redis的2种持久化方式

RDB持久化

AOF持久化

redis优化

redis的三大缓存问题

缓存雪崩的解决方案:

缓存穿透的解决方案:

缓存击穿的解决方案:

[如何保证 MySQL 和 redis 的数据一致性?](#如何保证 MySQL 和 redis 的数据一致性?)


redis的2种持久化方式

RDB持久化

:定时把redis内存中的数据进行快照并压缩保存到硬盘里

手动触发(bgsave命令) 自动触发(满足save指令配置的条件,主从全量同步,执行shutdown命令时)

文件名:dump.rdb

优缺点:RDB持久化保存的文件占用空间小,网络传输块,恢复速度也比AOF更快,性能影响比AOF更小;

实时性不如AOF,兼容性较差,持久化期间在fork子进程时会阻塞redis父进程。

AOF持久化

:以追加的方式将redis写操作的命令记录到aof文件中

执行流程:命令追加(写命令追加到aof_buf缓冲区)

文件写入和同步(文件名:appendonly.aof,同步策略:appendfsync everysec|always|no)

文件重写(减少aof文件占用空间的大小和加快恢复速度,执行bgrewriteaof命令触发)

优缺点:实时性比RDB更好,支持秒级持久化,兼容性较好

持久化保存的文件占用磁盘空间更大,恢复速度更慢,性能影响更大,AOF文件重写期间在fork子进程时会阻塞redis父进程

RDB/AOF持久化区别可根据 工作方式、实时性、磁盘占用、恢复速度、兼容性、IO性能影响等方面进程阐述。

redis优化

1)设置 config set activedefrag yes 开启内存碎片自动清理,或者定时执行 memory purge 清理内存碎片

2)尽可能使用 hash 数据类型存储数据。因为 hash 类型的一个 key 可包含多个字段,该类型的数据占用空间较小

3)建议给 key 设置过期时间

4)精简 key 的键名和键值,控制 key 占用空间的大小,避免 bigkey 的产生(redis-cli --bigkeys 可用于查找bigKey)

5)修改配置 maxmemory 指定redis可占用的最大内存大小

修改配置 maxmemory-policy 指定内存数据淘汰策略(key的回收策略),实现保证内存使用率不超过最大内存

修改配置 maxmemory-samples 指定内存数据淘汰策略的样本数量,一般为3~7,值越大样本越精确

修改配置 maxclients 指定最大客户端连接数

修改配置 tcp-backlog 指定最大连接排队数

修改配置 timeout 指定连接超时时间

修改配置 lazyfree-lazy-expire yes 设置惰性删除,将删除过期key的操作放在后台中去执行,避免阻塞主线程

修改配置 no-appendfsync-on-rewrite yes 设置AOF文件重写期间,AOF后台子进程不进行刷盘操作,避免AOF重写和fsync竞争磁盘IO资源,导致redis延迟增加

6)设置AOF持久化和主从复制来备份数据,采用哨兵或集群模式实现redis集群的高可用

7)建议设置 config set requirepass 或 修改配置 requirepass 来设置 redis 密码

redis的三大缓存问题

正常情况下,大部分的访问请求应该是先被redis响应的,在redis那里得不到响应的小部分访问请求才会去请求MySQL数据库获取数据,这样MySQL数据库的负载压力是非常小的,且可以正常工作。缓存雪崩/穿透/击穿三大问题的根本原因在于redis缓存命中率下降,大量请求会直接发送给MySQL数据库,导致MySQL数据库压力过大而崩溃。

缓存雪崩:redis中大量缓存key集体过期

缓存穿透:大量请求访问redis和MySQL都不存在的资源

缓存击穿:redis中一个热点key过期,此时又有大量用户访问这个热点key(redis-cli --hotkeys 可用于查找热Key)

缓存雪崩的解决方案:

使用随机数设置key的过期时间,防止集体过期

设置缓存标记,如果缓存过期,则自动更新缓存

数据库使用排他锁,实现加锁等待

缓存穿透的解决方案:

对空值也进行缓存

使用布隆过滤器进行判断拦截一定不存在的无效请求

使用脚本实时监控,进行黑名单限制

缓存击穿的解决方案:

预先对热点数据进行缓存预热

监控数据,实时调整过期时长

数据库使用排他锁,实现加锁等待

如何保证 MySQL 和 redis 的数据一致性?

读取数据时,先从redis读取数据,如果redis中没有,再从MySQL中读取,并将读取到的数据同步到redis缓存中。

更新数据时,先更新MySQL数据库,再更新redis缓存

删除数据时,先删除redis缓存,再删除MySQL数据库

对于一些关键数据,可以使用MySQL的触发器来实现同步更新redis缓存。也可以使用定时任务,定时自动进行缓存预热,来定期同步MySQL和redis的数据。

相关推荐
鹿屿二向箔14 小时前
基于SSM(Spring + Spring MVC + MyBatis)框架的汽车租赁共享平台系统
spring·mvc·mybatis
沐雪架构师18 小时前
mybatis连接PGSQL中对于json和jsonb的处理
json·mybatis
鹿屿二向箔19 小时前
基于SSM(Spring + Spring MVC + MyBatis)框架的咖啡馆管理系统
spring·mvc·mybatis
aloha_7891 天前
从零记录搭建一个干净的mybatis环境
java·笔记·spring·spring cloud·maven·mybatis·springboot
毕业设计制作和分享1 天前
ssm《数据库系统原理》课程平台的设计与实现+vue
前端·数据库·vue.js·oracle·mybatis
paopaokaka_luck1 天前
基于Spring Boot+Vue的助农销售平台(协同过滤算法、限流算法、支付宝沙盒支付、实时聊天、图形化分析)
java·spring boot·小程序·毕业设计·mybatis·1024程序员节
cooldream20091 天前
Spring Boot中集成MyBatis操作数据库详细教程
java·数据库·spring boot·mybatis
不像程序员的程序媛1 天前
mybatisgenerator生成mapper时报错
maven·mybatis
小布布的不2 天前
MyBatis 返回 Map 或 List<Map>时,时间类型数据,默认为LocalDateTime,响应给前端默认含有‘T‘字符
前端·mybatis·springboot
背水2 天前
Mybatis基于注解的关系查询
mybatis