缓存雪崩、击穿、穿透及解决方案_保证缓存和数据库一致性

文章目录

缓存雪崩、击穿、穿透

一般用户数据存储于磁盘,读写速度慢。

使用redis作为缓存,相当于数据缓存在内存,大大提高系统性能

redis作为缓存,就会有缓存异常的三个问题

1.缓存雪崩

缓存都设置了过期时间

造成缓存雪崩

  • 大量缓存数据在同一时间过期

  • redis故障宕机

    若此时有大量用户请求,无法在redis处理,都直接访问数据库 => 数据库压力骤增(严重造成数据库宕机) => 形成一系列连锁反应 => 整个系统崩溃

解决缓存雪崩

=> 大量缓存数据在同一时间过期时:

  1. 均匀设置过期时间(对缓存数据的过期时间加上随机数,保证数据不会在同一时间过期)

  2. 互斥锁(当业务线程在处理用户请求时,如果发现访问的数据不在redis里,加互斥锁,保证同一时间内只有一个请求来构建缓存(从数据库读取数据,再将数据更新到redis),当缓存构建完成后,再释放锁。)

    注:互斥锁设置超时时间,否则若出现请求发生意外阻塞,导致其他请求也一直拿不到锁

  3. 后台更新缓存(让缓存"永久有效",将更新缓存的工作交由后台线程定时更新)

    当系统内存紧张时,有些缓存数据被"淘汰",在"淘汰"和下次更新时间内,业务线程读取失败就以为是数据丢失,解决方法:

    1. 后台线程负责定时更新缓存,同时频繁地检测缓存是否失效,若失效,可进行构建缓存

      ​ 检测时间间隔不能太长,太长导致用户获取的数据是空值而不是真正的数据,检测时间间隔最好是毫秒级,用户体验一般

    2. 业务线程发现缓存数据失效后,通过消息队列发送一条消息通知后台线程更新缓存。后台线程收到消息后,更新前判断缓存是否存在,不存在则进行构建缓存。

      ​ 缓存更新及时,用户体验好

    注: 后台更新缓存机制适合进行缓存预热(业务刚上线时,提前缓存数据,不是等待用户访问才来触发缓存构建)

=> Redis故障宕机时:

  1. 服务熔断或请求限流机制

    ​ 服务熔断:暂停业务应用对缓存服务的访问,直接返回错误,不再继续访问数据库,直到redis恢复正常。

    ​ 请求限流机制:只将少部分请求发送到数据库进行处理,再多的请求就在入口直接拒绝服务,等到Redis恢复正常 并把缓存预热完后。

  2. 构建redis缓存高可靠集群

    ​ 通过主从节点的方式构建,若redis缓存的主节点宕机,从节点可以切换成为主节点,继续提供缓存服务

2. 缓存击穿

造成缓存击穿

被频繁访问的热点数据过期,此时大量的请求访问该热点数据,直接访问数据库,数据库很容易被高并发的请求冲垮

缓存击穿可以认为是缓存雪崩的一个子集(对应于大量缓存数据在同一时间过期)

解决缓存击穿

  1. 互斥锁
  2. 不给热点数据设置过期时间,由后台异步更新缓存 / 在热点数据准备过期前,提前通知后台线程更新缓存以及重新设置过期时间

3.缓存穿透

对于缓存雪崩、击穿,数据仍然在数据库,一旦缓存恢复相应的数据,就可以减轻数据库的压力

而对于缓存穿透:

​ 用户访问的数据,既不在缓存中,也不在数据库中,导致请求在访问缓存时,发现缓存缺失,再去访问数据库,发现数据库也没有要访问的数据,没办法构建缓存来服务后续请求。当有大量的这样的请求时,数据库的压力骤增

造成缓存穿透

  • 业务误操作,缓存中数据和数据库数据都被误删除
  • 黑客恶意攻击,故意大量访问某些读取不存在数据的业务

解决缓存穿透

  1. 非法请求的限制

    判断请求参数是否含有非法值?请求字段是否存在?

  2. 缓存空值或默认值

    当线上业务发现缓存穿透时,针对查询的数据,在缓存中设置一个空值或默认值,后续请求可以从缓存中读取到数据,而不会继续查询数据库

  3. 使用布隆过滤器快速判断数据是否存在,避免通过查询数据库来判断数据是否存在。

    写入数据库数据时,使用布隆过滤器做标记,当业务线程确认缓存失效后,可以通过查询布隆过滤器判断数据是否存在。(大量请求只会查询布隆过滤器和redis,而不会查询数据库)

注:布隆过滤器的实现

设此时有3个哈希函数,位图数组长度为8,数据库写入数据x:

将该数据x得到的三个哈希值 % 位图数据长度得到三个数组下标,填入1。

当业务线程查询数据是否存在于数据库时,查询 1、4、6下标的值是否为1,若有一个为0,则说明不存在

(存在哈希冲突,故若查询布隆过滤器说数据存在于数据库,此时数据不一定在数据库;但是查询到数据不存在时,数据一定不存在)


更新数据时,如何保证数据库和缓存的一致性?

1. 先更新数据库?先更新缓存?

在数据更新时,先更新数据库还是先更新缓存,都会存在并发问题,当两个请求并发更新同一条数据时,可能会出现缓存和数据库中数据不一致的现象。

解决方案

  • 更新缓存之前加分布式锁,保证同一时间只运行一个请求更新缓存,但对写入性能造成影响
  • 更新完缓存后,给缓存加上较短的过期时间,即使不一致,但也会很快过期

2. Cache Aside策略

旁路缓存策略: 在更新数据时,不更新缓存,更新数据库,删除缓存, 当读取数据发现缓存中无该数据时,再从数据库中读取数据,并且写入缓存。

(删除缓存,不更新缓存是懒加载思想的应用)

分为读策略、写策略

  • 写策略
    • 更新数据库中的数据
    • 删除缓存中的数据
  • 读策略
    • 若读取的数据命中缓存,则直接返回数据
    • 若读取的数据没有命中缓存,则从数据库中读取数据,再将该数据写入缓存,并且返回给用户

例:请求A读取数据,请求B更新数据

此时数据库中为21,缓存中为20

该情况出现概率不高,因为缓存的写入通常远远快于数据库的写入

① 先更新数据库,再删除缓存

先更新数据库,再删除缓存 可以保证"数据一致性",并且对缓存加上过期时间,可以保证最终一致性

问题:

  • 先更新数据库,再删除缓存会导致缓存命中率降低。

    ​ 若对缓存命中率有要求,可以采用更新数据库+更新缓存,解决方案见1.

  • 这种方法保证数据一致性的前提是 更新数据库和删除缓存都能正常执行成功。

    (删除缓存失败时,可能出现缓存中为旧数据,数据库中为新数据)

    保证更新数据库、删除缓存都执行成功

    采用异步缓存,保证第二个操作执行成功

    • 重试机制 => 引入消息队列,将删除缓存操作的数据加入消息队列,由消费者操作数据
      • 如果删除缓存失败,从消息队列重新读取需要删除的数据,再次删除缓存(若多次删除失败,需要向业务层发送报错信息)
      • 如果删除缓存成功,把数据从消息队列移除,避免重复操作
    • 订阅 MySQL binlog,再操作缓存
      • 先更新数据库,再删除缓存,当更新数据库成功,就会产生一条变更日志,记录在binlog里。于是可以订阅binlog日志,拿到具体要操作的数据,再执行缓存删除。
      • Canal模拟MySQL的主从复制的交互协议,把自己伪装成从节点,向MySQL主节点发送dump请求,MySQL收到请求后,推送binlog给Canal,Canal解析Binlog字节流后,转换为便于读取的结构化数据,供下游程序订阅使用

② 先删除缓存,再更新数据库

出现并发问题,造成缓存、数据库数据不一致

解决方案

延迟双删

  1. 删除缓存
  2. 更新数据库
  3. 睡眠
  4. 再删除缓存

请求A在睡眠时,B能够完成读取数据库数据,并把缺失数据写入缓存,A睡眠完后删除缓存。

请求A的睡眠时间 > 请求B的从数据库读取数据+写入缓存的时间

该方案尽可能保持一致性,建议采用先更新数据库,再删除缓存

互斥锁vs分布式锁

互斥锁:单机情况下,内存中的一个互斥锁就能控制一个程序的线程并发

分布式锁:适用于分布式场景,集群架构,需要"全局锁"实现控制多个程序/多个机器上的线程并发
小林coding图解Redis --- 七

相关推荐
煎饼小狗4 小时前
Redis五大基本类型——Zset有序集合命令详解(命令用法详解+思维导图详解)
数据库·redis·缓存
秋意钟6 小时前
缓存雪崩、缓存穿透【Redis】
redis
简 洁 冬冬6 小时前
046 购物车
redis·购物车
雯0609~6 小时前
网页F12:缓存的使用(设值、取值、删除)
前端·缓存
soulteary7 小时前
突破内存限制:Mac Mini M2 服务器化实践指南
运维·服务器·redis·macos·arm·pika
wkj0018 小时前
php操作redis
开发语言·redis·php
菠萝咕噜肉i8 小时前
超详细:Redis分布式锁
数据库·redis·分布式·缓存·分布式锁
登云时刻9 小时前
Kubernetes集群外连接redis集群和使用redis-shake工具迁移数据(二)
redis·容器·kubernetes
只因在人海中多看了你一眼12 小时前
分布式缓存 + 数据存储 + 消息队列知识体系
分布式·缓存
Dlwyz13 小时前
redis-击穿、穿透、雪崩
数据库·redis·缓存