目录
[一, 缓存](#一, 缓存)
[1, 什么是缓存](#1, 什么是缓存)
[2, 什么是热点数据(热词)](#2, 什么是热点数据(热词))
[3, 缓存更新策略](#3, 缓存更新策略)
[3.1 定期生成](#3.1 定期生成)
[3.2 实时生成](#3.2 实时生成)
[二, Redis缓存可能出现的问题](#二, Redis缓存可能出现的问题)
[1, 缓存预热](#1, 缓存预热)
[1.1 什么是缓存预热](#1.1 什么是缓存预热)
[1.2 缓存预热的过程](#1.2 缓存预热的过程)
[2, 缓存穿透](#2, 缓存穿透)
[2.1 什么是缓存穿透](#2.1 什么是缓存穿透)
[2.2 缓存穿透产生的原因](#2.2 缓存穿透产生的原因)
[2.3 缓存穿透的解决办法](#2.3 缓存穿透的解决办法)
[3, 缓存雪崩](#3, 缓存雪崩)
[3.1 什么是缓存雪崩](#3.1 什么是缓存雪崩)
[3.2 缓存雪崩产生的原因](#3.2 缓存雪崩产生的原因)
[3.3 缓存雪崩的解决办法](#3.3 缓存雪崩的解决办法)
[4, 缓存击穿](#4, 缓存击穿)
[4.1 什么是缓存击穿](#4.1 什么是缓存击穿)
[4.2 缓存雪崩的解决办法](#4.2 缓存雪崩的解决办法)
一, 缓存
1, 什么是缓存
Redis是一种内存数据库,最常用的场景就是作为缓存,加快用户查询的速度,核心思路就是把一些常用的数据(热点数据)放到触手可及(访问速度更快)的地方,方便随时读取.
- 如何理解"触手可及"的地方?
硬件的访问速度,通常情况下:CPU寄存器 > 内存 > 硬盘 > 网络
硬盘相对于网络来说是"触手可及的",就可以使用硬盘作为网络的缓存(例如:浏览器的缓存,浏览器通过 http/https 从服务器上获取到如 html,css,js,图片,字体等进行展示,这些体积大又不会经常改变的数据就可以保存到浏览器本地硬盘,后续再打开这个页面的时候,就不必从网络上重新获取了)
为什么说关系型数据库性能不⾼?
数据库把数据存储在硬盘上, 硬盘的 IO 速度并不快. 尤其是随机访问;
如果查询不能命中索引, 就需要进⾏表的遍历, 这就会⼤⼤增加硬盘 IO 次数;
关系型数据库对于 SQL 的执⾏会做⼀系列的解析, 校验, 优化⼯作;
如果是⼀些复杂查询, ⽐如联合查询, 需要进⾏笛卡尔积操作, 效率更是降低很多.
Redis作为缓存的图示:
2, 什么是热点数据(热词)
注意:Redis作为缓存的时候访问速度相比mysql等关系型数据库更快,访问速度快代表着成本越高,所以相对而言Redis的存储空间更少,所以一般存储在Redis里面的数据都是一些经常被访问的数据,这部分数据就被称为热点数据.
Redis作为缓存的时候一般满足"二八原则",即20%的数据可以满足大部分的访问需求,因为一般用户进行访问的时候大部分访问的数据都是热点数据,这些数据已经存储在Redis中,所以访问速度很快,且很多访问都只会命中Redis,不会去数据库中查找,大大降低了访问数据库的并发量.
3, 缓存更新策略
3.1 定期生成
定期生成策略就是会把访问的数据以日志的形式记录下来,然后根据更新的频率(一天更新一次/一周更新一次等)进行统计,统计该频率内访问最多的前20%(根据实际场景决定)作为热点数据,将这些热点数据存储到Redis中,下次访问这些热点数据的时候就可以快速的从Redis中获取了.
优点:这种方式实现起来比较简单,过程更可控(缓存中有啥都是固定的),方便后期排查问题;
缺点:实时性不高,如果出现一些突发性问题,有一些本来不是热词的词突然变成热词,Redis中并没有,此时就会直接访问数据库,数据库会面临巨大的压力.
3.2 实时生成
实时生成策略就是如果查询的数据在Redis中有就直接访问,如果没有就会在数据库中查询,返回结果的同时也会将查询的结果写入Redis,这样Redis的数据也会随着查询数据库这个操作不断更新,经过一段时间的"动态平衡",Redis中的数据逐渐成为热点数据了.
问题:Redis的存储空间是有限的,随着不断的更新会逐渐达到Redis的内存上限(Redis的内存可通过配置文件中的maxmemory参数进行设定),如果此时达到内存上限了该怎么办?
答:达到内存上限需要对Redis内存中的数据进行淘汰,通用的淘汰策略有以下几种:
FIFO (First In First Out) 先进先出:把缓存中存在时间最久的(也就是最先来的数据)淘汰掉;
LRU (Least Recently Used) 淘汰最久未使⽤的:记录每个key最近访问时间,把最近访问时间最老的key淘汰掉;
LFU (Least Frequently Used) 淘汰访问次数最少的:记录每个key最近一段时间的访问次数,把访问次数最少得淘汰掉;
Random 随机淘汰:从所有key中抽取幸运儿被随机淘汰掉.
二, Redis缓存可能出现的问题
1, 缓存预热
1.1 什么是缓存预热
使⽤ Redis 作为 MySQL 的缓存的时候, 当 Redis 刚刚启动, 或者 Redis ⼤批 key 失效之后, 此时由于 Redis ⾃⾝相当于是空着的, 没啥缓存数据, 那么 MySQL 就可能直接被访问到, 从⽽造成较⼤的压⼒. 因此就需要提前把热点数据准备好, 直接写⼊到 Redis 中.,使 Redis 可以尽快为 MySQL 撑起保护伞.
1.2 缓存预热的过程
缓存预热结合了定期生成和实时生成两种策略,先通过离线的方式,通过一些统计途径,把一些热点数据找到一批,导入到Redis中,此时这部分热点数据就可以帮数据库承担很大的压力了,随着时间的推移,逐渐就使用新的热点数据淘汰掉旧的数据.
2, 缓存穿透
2.1 什么是缓存穿透
访问的key在Redis和数据库中都不存在,此时这样的key不会被放到缓存上,后续如果仍然再访问这个key的时候依然会访问到数据库,这样就会导致数据库承担的请求太多,压力很大,这种情况被称为缓存穿透.
2.2 缓存穿透产生的原因
- 业务设计的不合理,比如缺少必要的参数校验环节,导致非法的key也被查询了(这种情况最多);
- 开发/运维误操作,不小心把部分数据从数据库中删除了(少);
- 黑客恶意攻击(少).
2.3 缓存穿透的解决办法
- 针对要查询的参数进行严格的校验,比如要查询的key是用户的手机号,那么就需要校验当前key是否满足一个合法的手机号的格式;
- 针对数据库上不存在的key也需要在Redis中保存,该key所对应的value可以设置为空,避免后续频繁访问数据库;
- 使用布隆过滤器(本质上使用hash+bitmap的思想,能够用较少的空间判定某个元素是否存在)先判定key是否存在,再进行查询.
3, 缓存雪崩
3.1 什么是缓存雪崩
短时间内⼤量的 key 在缓存上失效, 导致数据库压⼒骤增, 甚⾄直接宕机
3.2 缓存雪崩产生的原因
大规模的key失效,可能性主要有两种:
- Redis挂了;
- Redis上的大量key同时失效(可能这些key设置了相同的过期时间).
3.3 缓存雪崩的解决办法
- 加强监控警报,加强Redis集群可用性的保证;
- 不给key设置过期时间或者不设置相同的过期时间(如添加随机因子从而避免同一时刻过期).
4, 缓存击穿
4.1 什么是缓存击穿
相当于缓存雪崩的特殊情况. 针对热点 key , 突然过期了, 导致⼤量的请求直接访问到数据库上, 甚⾄引起数据库宕机,缓存击穿区分于缓存雪崩的地方在于缓存击穿更加侧重于热点key.
4.2 缓存雪崩的解决办法
- 基于统计的方式发现热点key,并设置永不过期;
- 进行必要的服务降级,例如访问数据库的时候使用分布式锁,限制同时请求数据库的并发数.