Redis 持久化机制

Redis 提供两种主要的持久化方式,用于将内存中的数据保存到磁盘,防止服务重启或崩溃时数据丢失

一、RDB持久化

RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。快照文件称为RDB文件,默认是保存在当前运行目录。

1.1 RDB 持久化的触发方式

1.1.1 手动方式

save命令:save 命令会导致主进程执行RDB,这个过程中其它所有命令都会被阻塞。只有在数据迁移时可能用到。

bgsave命令:bgsave命令执行后会开启独立进程完成RDB,主进程可以持续处理用户请求,不受影响。

1.1.2 自动方式

停机时 :Redis停机时会执行一次save命令,实现RDB持久化。

**触发配置文件中RDB条件:**Redis内部有触发RDB的机制,可以在redis.conf文件中找到,格式如下:

900秒内,如果至少有1个key被修改,则执行bgsave , 如果是save "" 则表示禁用RDB

save 900 1

save 300 10

save 60 10000

当然我们也可以自定义触发时机

1.2 RDB原理

bgsave开始时会fork主进程得到子进程,子进程共享主进程的内存数据。完成fork后读取内存数据并写入 RDB 文件。

fork采用的是copy-on-write技术:

  • 当主进程执行读操作时,访问共享内存;

  • 当主进程执行写操作时,则会拷贝一份数据,执行写操作。

1.3 优缺点

fork是子进程进行的,Redis 可以高效地执行 RDB 持久化操作,并且不会对 Redis 运行过程中的性能造成太大的影响;由于 RDB 文件是以二进制格式保存的,因此它非常紧凑,并且在 Redis 重启时可以迅速地加载数据;根据其工作原理,我们就可得到以下RDB的优缺点:

优点

  • 性能高(fork子进程处理)

  • 恢复速度快(二进制文件直接加载)

缺点

  • RDB执行间隔时间长,两次RDB之间写入数据有丢失的风险

  • 大数据集时fork可能耗时

二、AOF持久化

RDB持久化方式在redis服务宕机时无法保证数据的绝对安全性,因此redis提供了另一种持久化方式AOF。

2.1 AOF原理

AOF全称为Append Only File(追加文件)。Redis处理的每一个写命令都会记录在AOF文件,可以看做是命令日志文件。

在redis服务宕机重启时,redis会加载该文件中的命令并执行,这样数据就会完全恢复到之前的状态。

AOF默认是关闭的,需要修改redis.conf配置文件来开启AOF:

是否开启AOF功能,默认是no

appendonly yes

AOF文件的名称

appendfilename "appendonly.aof"

AOF的命令记录的频率也可以通过redis.conf文件来配:

表示每执行一次写命令,立即记录到AOF文件

appendfsync always

写命令执行完先放入AOF缓冲区,然后表示每隔1秒将缓冲区数据写到AOF文件,是默认方案

appendfsync everysec

写命令执行完先放入AOF缓冲区,由操作系统决定何时将缓冲区内容写回磁盘

appendfsync no

三种策略对比:

2.2 AOF文件重写

因为是记录命令,AOF文件会比RDB文件大的多 。而且AOF会记录对同一个key的多次写操作,但只有最后一次写操作才有意义。通过执行bgrewriteaof命令,可以让AOF文件执行重写功能,用最少的命令达到相同效果。

如图,AOF原本有三个命令,但是set num 123 和 set num 666都是对num的操作,第二次会覆盖第一次的值,因此第一个命令记录下来没有意义。

所以重写命令后,AOF文件内容就是:mset name jack num 666

Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置:

复制代码
# AOF文件比上次文件 增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才触发重写 
auto-aof-rewrite-min-size 64mb 

2.3 RDB与AOF对比

RDB和AOF各有自己的优缺点:

  • RDB 持久化能够快速地储存和恢复数据,但是在服务器停机时可能会丢失大量数据。
  • AOF 持久化能够有效地提高数据的安全性,但是在储存和恢复数据方面却要耗费大量的时间。

在实际开发中往往会结合 两者来使用,在Redis 4.0 推出了一个持久化方案 ------ RDB-AOF 混合持久化

这种持久化能够通过 AOF 重写操作创建出一个同时包含 RDB 数据和 AOF 数据的 AOF 文件, 其中 RDB 数据位于 AOF 文件的开头, 它们储存了服务器开始执行重写操作时的数据库状态。至于那些在重写操作执行之后执行的 Redis 命令, 则会继续以 AOF 格式追加到 AOF 文件的末尾, 也即是 RDB 数据之后。

也就是说当开启混合持久化之后,AOF文件中的内容:前半部分是二进制的RDB内容,后面跟着AOF增加的数据,AOF位于两次RDB之间

要启用该功能, 需要再配置文件中进行以下配置:

appendonly yes

aof-use-rdb-preamble yes

2.4 优缺点

优点

  • 数据安全性高(最多丢失1秒数据)

  • 可读性强(文本格式)

缺点

  • 文件体积通常比RDB大

  • 恢复速度较慢

  • 写入性能略低于RDB

三、相关面试问题

3.1 你知道redis的持久化机制吗?

redis中主要提供了两种持久化机制:RDB和AOF。

首先,RDB又叫做redis数据备份文件或者redis数据快照,也就是说把内存中的所有数据都保存到磁盘中,当redis重启服务时数据会重新从磁盘中加载,从而实现了数据的持久化。

然后,AOF又叫做追加文件,也可以看作是命令日志文件,其中记录的是redis中每一次写操作的命令,当redis服务宕机恢复时会重新执行一遍AOF中的所有命令来恢复数据,从而实现了数据的持久化。

3.2 这两种方式你使用过吗?或者它们的使用场景分别是什么?

首先,RDB是一个二进制文件,能够更快速的存储和恢复数据,但是服务器停机可能会导致最后一次备份数据的丢失,因此如果可以容忍数分钟的数据丢失,追求更快的启动速度,可以选择该方式。

然后,AOF相对与RDB文件体积相对较大,且恢复速度较慢,但是设置合适的刷盘策略,如每秒刷盘,最多导致丢失1秒的数据,数据的安全性更高,因此如果追求更高的数据安全性,可以选择该方式。

最后,在实际的开发中,我使用最多且更倾向于两者混合持久化。

相关推荐
workflower2 小时前
MDSE和敏捷开发相互矛盾之处:方法论本质的冲突
数据库·软件工程·敏捷流程·极限编程
Tony小周2 小时前
实现一个点击输入框可以弹出的数字软键盘控件 qt 5.12
开发语言·数据库·qt
lifallen2 小时前
Paimon 原子提交实现
java·大数据·数据结构·数据库·后端·算法
TDengine (老段)3 小时前
TDengine 数据库建模最佳实践
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
Elastic 中国社区官方博客3 小时前
Elasticsearch 字符串包含子字符串:高级查询技巧
大数据·数据库·elasticsearch·搜索引擎·全文检索·lucene
Gauss松鼠会3 小时前
GaussDB应用场景全景解析:从金融核心到物联网的分布式数据库实践
数据库·分布式·物联网·金融·database·gaussdb
天河归来4 小时前
springboot框架redis开启管道批量写入数据
java·spring boot·redis
守城小轩4 小时前
Chromium 136 编译指南 - Android 篇:开发工具安装(三)
android·数据库·redis
尽兴-4 小时前
如何将多个.sql文件合并成一个:Windows和Linux/Mac详细指南
linux·数据库·windows·sql·macos
小小不董4 小时前
深入理解oracle ADG和RAC
linux·服务器·数据库·oracle·dba