Redis的AOF持久化、重写机制、RDB持久化、混合持久化

1、AOF持久化

1.1.AOF持久化大致过程

概括:命令追加 (append)、文件写入文件同步(sync)

Redis 每执行一条写操作命令,就把该命令以追加的方式写入到一个文件里,然后重启 Redis 的时候,先去读取这个文件里的命令,并且执行它,于是恢复了缓存数据。

分析:AOF持久化过程中先执行写操作命令后,再写日志好处和坏处。

好处:1.避免额外的检查开销。2.不会阻塞当前写操作命令的执行。

坏处:1.还未写入磁盘的这个数据就会有丢失的风险。2.可能会给「下一个」命令带来阻塞风险。(原因是因为将命令写入到日志的这个操作和执行命令都是在主进程。也就是说这两个操作是同步的。)

1.2.AOF文件里记录什么

1.3.三种写入磁盘的策略

写入磁盘的大致过程:

  • 每次写操作命令执行完后,会将命令追加到 server.aof_buf 缓冲区。

  • 然后通过 write() 系统调用,将 aof_buf 缓冲区的数据写入到 AOF 文件的内存缓冲区

  • 至于何时将内存缓冲区的数据写入磁盘,即.aof文件。由各自的策略决定。

补充:操作系统默认是等到缓冲区的空间被填满、或者超过了指定的时限之后, 才真正地将缓冲区中的数据写入到磁盘里面。这种做法虽然提高了效率, 但也为写入数据带来了安全问题, 因为如果计算机发生停机, 那么保存在内存缓冲区里面的写入数据将会丢失。因此系统提供了 fsync 和 fdatasync 两个同步函数, 它们可以强制让操作系统立即将缓冲区中的数据写入到硬盘里面, 从而确保写入数据的安全性。

1.3.1.Always

每次写操作命令执行完后,会将命令追加到 server.aof_buf 缓冲区。将 aof_buf 缓冲区中的所有内容写入到 AOF 文件, 并同步将 AOF 日志数据写入硬盘;

从安全性来说, always 也是最安全的, 因为即使出现故障停机, AOF 持久化也只会丢失一个事件循环中所产生的命令数据。

从效率上说,效率慢。因为写入磁盘的过程也是在主线程完成的。

1.3.2.Everysec

每次写操作命令执行完后,会将命令追加到 server.aof_buf 缓冲区。将 aof_buf 缓冲区中的所有内容写入到 AOF 文件, 并且每隔超过一秒就要在子线程中对 AOF 文件进行一次同步。

从效率上来讲, everysec 模式足够快, 并且就算出现故障停机, 数据库也只丢失一秒钟的命令数据。

1.3.3.No

每次写操作命令执行完后,会将命令追加到 server.aof_buf 缓冲区。将 aof_buf 缓冲区中的所有内容写入到 AOF 文件, 至于何时对 AOF 文件进行同步, 则由操作系统控制。

从效率上来讲,因为无须执行同步操作, 所以该模式下的 AOF 文件写入速度总是最快的。

1.4.AOF 重写机制

1.4.1.AOF 重写机制过程
  • 为了解决AOF文件过大的问题,于是引入AOF重写机制。

  • 重写机制是通过 fork 出一个子进程来完成的,子进程会扫描 Redis 的数据库,读取每个键的值,用一条命令代替原来的多条命令。然后写入到一个新的AOF文件中。

  • 在子进程进行 AOF 重写的过程中,主进程还会继续接收和处理客户端的请求,如果有新的写操作发生,主进程会将这些写操作追加到一个AOF重写缓冲区AOF缓冲区中。

  • 当子进程完成AOF重写工作之后,它会向父进程发送一个信号。

  • 父进程在接到该信号之后,会调用一个信号处理函数:将AOF重写缓冲区中的所有内容写入到新AOF文件中;新AOF文件代替现有的AOF文件。

  • 完成AOF后台重写。

1.4.2.何时会触发重写机制
  • AOF 重写机制可以由用户手动触发,也可以由系统自动触发 。

  • 用户手动触发 AOF 重写机制可以通过执行 BGREWRITEAOF 命令来实现 。

  • 系统自动触发 AOF 重写机制可以通过配置文件中的 auto-aof-rewrite-percentage 和 auto-aof-rewrite-min-size 参数来控制 。

  • auto-aof-rewrite-percentage 参数表示当当前 AOF 文件大小超过上次重写后 AOF 文件大小的百分比时,触发 AOF 重写机制**,默认值为 100 。**

  • auto-aof-rewrite-min-size 参数表示当当前 AOF 文件大小超过指定值时,才可能触发 AOF 重写机制,默认值为 64 MB 。

  • 系统自动触发 AOF 重写机制还需要满足以下条件 :

    • 当前没有正在执行 BGSAVE 或 BGREWRITEAOF 的子进程

    • 当前没有正在执行 SAVE 的主进程

1.4.3.补充的点
  1. aof_rewrite函数可以很好地完成创建一个新AOF文件的任务并进行大量的写入操作,所以调用这个函数的线程将被长时间阻塞,因为Redis服务器使用单个线程来处理命令请求,所以如果由服务器直接调用aof_rewrite函数的话,那么在重写AOF文件期间,服务期将无法处理客户端发来的命令请求。因此选择开启子进程进行AOF重写。

  2. fork的过程:把主进程的页表复制一份给子进程,而不会复制物理内存,此时主进程和子进程都共享物理内存。

  3. 当主进程修改内存页之前,会复制一个该页的副本,并将其分配给执行写操作的进程。而子进程仍然共享未修改的物理内存页。这个过程叫做写时复制

  1. 写入AOF缓冲区是为了对现有AOF文件的处理工作会如常进行。

  2. 在AOF重写过程中,只有fork页表、写时复制、信号处理函数会影响主线程。在其他时候,AOF 后台重写都不会阻塞主进程。

2、RDB持久化

2.1.RDB持久化过程

  • 执行savebgsave命令,生成RDB文件。save和bgsave区别在于是否在主线程生成RDB文件。

  • 执行 bgsave 命令的时候,会在子进程中生产RDB文件。通过 fork() 创建子进程,此时子进程和父进程是共享同一片物理内存。

  • 当主进程要进行写操作时,就会写时复制。而主线程刚修改的数据,是没办法在这一时间写入 RDB 文件的,RDB 文件保存的是原本的内存数据。只能交由下一次的 bgsave 生产RDB文件。

  • 服务器启动时就会自动执行RDB文件的加载。

2.2.何时进行RDB持久化

Redis 通过配置文件的选项来实现每隔一段时间自动执行一次 bgsave 命令,默认会提供以下配置:

复制代码
save 900 1
save 300 10
save 60 10000

只要满足上面条件的任意一个,就会执行 bgsave,它们的意思分别是:

900 秒之内,对数据库进行了至少 1 次修改;

300 秒之内,对数据库进行了至少 10 次修改;

60 秒之内,对数据库进行了至少 10000 次修改。

以上分析,

RDB持久化和AOF持久化都有各自的优点:执行RDB文件数据恢复更快。而AOF文件能确保数据丢失少。毕竟人家是执行一条写操作就记录到AOF文件中。而RDB文件是隔一段时间才进行全量写入。

3、Redis 混合持久化

3.1.混合持久化过程

  • 混合持久化工作在 AOF 日志重写过程
  • 在AOF重写过程中,fork出的子进程,以RDB的方式写入AOF文件中。

  • 期间主进程进行的写操作记录在AOF重写缓冲区中。当子进程执行重写完成后,父进程将AOF重写缓冲区中的所有内容写入以AOF方式写入AOF文件。

  • 这样,AOF 文件的前半部分是 RDB 格式的全量数据,后半部分是 AOF 格式的增量数据

  • 重启 Redis 加载数据的时候,由于前半部分是 RDB 内容,这样加载的时候速度会很快。

  • 混合持久化的优点是:

    • 可以减少 AOF 文件的大小,节省磁盘空间

    • 可以加快数据恢复的速度,避免执行大量的 AOF 命令

    • 可以避免数据丢失,因为 RDB 文件和 AOF 文件都有最新的数据快照

3.2.如何开启混合持久化

  • 要开启混合持久化,需要在 redis.conf 文件中设置以下参数:

    • appendonly yes 开启 AOF 持久化

    • aof-use-rdb-preamble yes 开启混合持久化

4、Redis的内存大key的对持久化的影响

  • 写入磁盘策略如果是Always,那么在调用fsync同步函数写入磁盘的时间就会变长,对主线程有一定的阻塞。

  • 在AOF重写过程、RDB持久化过程中,fork页表时、写时复制耗时都会变长,从而影响主线程。

相关推荐
SelectDB技术团队4 分钟前
兼顾高性能与低成本,浅析 Apache Doris 异步物化视图原理及典型场景
大数据·数据库·数据仓库·数据分析·doris
inventecsh20 分钟前
mongodb基础操作
数据库·mongodb
白云如幻24 分钟前
SQL99版链接查询语法
数据库·sql·mysql
爱吃烤鸡翅的酸菜鱼43 分钟前
MySQL初学之旅(4)表的设计
数据库·sql·mysql·database
The_Ticker2 小时前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
Elastic 中国社区官方博客2 小时前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
企鹅侠客2 小时前
ETCD调优
数据库·etcd
Json_181790144802 小时前
电商拍立淘按图搜索API接口系列,文档说明参考
前端·数据库
煎饼小狗2 小时前
Redis五大基本类型——Zset有序集合命令详解(命令用法详解+思维导图详解)
数据库·redis·缓存
永乐春秋3 小时前
WEB-通用漏洞&SQL注入&CTF&二次&堆叠&DNS带外
数据库·sql