Redis_持久化(AOF、RDB)

6. Redis AOF

6.1 简介

目前,redis的持久化主要应用AOF(Append Only File)和RDF两大机制,AOF以日志的形式来记录每个写操作(增量保存),将redis执行过的所有指令全部安全记录下来(读操作不记录)。只许追加文件,但不可以改写文件,redis启动之初,会读取该文件,重新构建数据。

6.2 AOF的配置

  • AOF默认不开启,在conf配置文件中进行配置。

  • 修改redis.conf配置文件

    sql 复制代码
    appendonly no
    //修改
    appendonly yes
  • 默认文件名是appendonly.aof

  • 默认是启动后的相对路径,redis在哪里启动,appendonly.aof文件就在哪生成

6.3 AOF日志是如何实现

数据库写前日志(Write Ahead Log ,WAL),在实际写数据库前,先把修改的数据记录到日志文件中,以便发生故障时,时行恢复。

AOF日志是写后日志。redis先去执行命令,把数据写入内存中,然后才去记录日志。

查看AOF文件

set k1 v1

vi appendonly.aof

*3 //接下来的指令由3部分组成
$3 //指令有3个字节
set
$2 //指令有2个字节
k1
$2 //指令有2个字节
v1

为什么使用写后日志?

  1. redis为了避免检查开销,向AOF中记录日志,是不做检查的。如果写前执行,很有可能将错误指令记录到日志中,在使用redis恢复日志时,就可能会出现错误
  2. 不会阻塞当前的写操作

6.4 AOF 的潜在风险

  1. aof文件可能由于异常原因被损坏。可以使用redis自带的命令redis-check-aof --fix appendonly.aof文
    件,修复成功,可以正确启动
  2. 由于刚刚执行一个指令,还没有写入日志,就宕机了。就会导致数据永久丢失(redis做为数据库存储的
    情况)
  3. AOF避免了对当前指令的阻塞,但可能会由于磁盘写入压力较大,对下一个操作带来阻塞风险

6.5 AOF三种写回策略

打开redis.conf配置文件 appendfsync选项

  • always:同步写回:每个写指令执行完,立即同步将指令写入磁盘日志文件中
  • everysec:每秒写回:默认配置方式。每个写指令执行完,先把日志写到AOF文件的内存缓冲区。每隔一秒把缓冲区的内容写入磁盘
  • no:操作系统控制写回:每个写指令执行完,先把日志写到AOF文件的内存缓冲区,由操作系统决定何时把缓冲区的内容写入磁盘
选项 写日志时机 优点 缺点
always 同步写回 数据可靠性高,基本不丢失 对性能影响大
everysec 每秒写回 性能适中 当服务器宕机时,丢失1秒内数据
no 操作系统控制写回 性能最高 当服务器宕机时,丢失数据较多

6.6 AOF重写机制

6.6.1 简介

Redis根据数据库现有数据,创建一个新的AOF文件,读取数据库中所有键值对,重新对应一条命令写入。

可以使用命令bgrewriteaof

重写主要是对多余的命令进行简化,修改,例如对list的lpushrpop进行简化

6.6.2 AOF重写的相关配置

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

如果aof文件超过64m,且比上次重写后的大小增加了100%,自动触发重写。

例如 文件80m,开如重写,重写后降到50m,下一次,达到100m再开始重写。

6.6.3 AOF重写流程

  • bgrewirteaof触发重写,判断是否当前有重写在运行,如果有,则等待重写结束后再执行
  • 主进程fork出一个子进程,执行重写操作,保证主进程不阻塞,可以继续执行命令
  • 子进程循环遍历reids内存中的所有数据到临时文件,客户端的写请求同时写入aof缓冲区和aof重写缓冲区。保证原AOF文件完整以及新的AOF文件生成期间的新的数据修改操作不会丢失
  • 子进程写完新AOF文件以后,向主进程发送信号,主进程更新统计信息
  • 主进程把aof重写缓冲区中的数据写入到新的AOF文件
  • 用新AOF文件覆盖掉旧的AOF文件,完成AOF重写

7. Redis RDB

7.1 简介

RDB(Redis DataBase):内存快照,记录内存中某一时刻数据的状态。

RDB和AOF相比记录的数据,不是操作指令

redis提供了两个指令生成RDB文件

  • save:再主线程中执行,会阻塞主线程
  • bgsave:创建一个子线程,专门用来写RDB,避免主线程阻塞,默认配置

例如:有6GB的内存数据量,磁盘写入0.3GB/S,需要20S时间,来完成RDB文件写入,其中在这20中可能会有写入或修改数据

  • 处理技术:写时复刻技术(copy-on-write cow)。在执行快照处理的时候,依然正确执行写入操作(快照将修改数据创建副本,保存的时修改之前的数据

7.2 快照频率

通过redis.conf配置文件去做处理

# save 3600 1
# save 300 100
# save 60 10000

7.3 混合使用AOF和RDB

通过redis.conf配置文件

打开aof

appendonly yes

打开混合配置

aof-use-rdb-preamble yes

在aof文件中,前半部分,就是rdb文件的内容,从rewirte之后,是aof文件内容

7.4关于对redis执久化处理的建议

  • 如果数据在服务器运行的时候,使用redis做缓冲,可以不使用任何持久化方式
  • 数据不能丢失,rdb和aof混合使用是一个好的选择
  • 如果数据不要求非常严格,要以允许分钟级别丢失,可以使用rdb
  • 如果只使用AOF,建议配置策略是everysec,在可靠性和性能之间做了一个折中
  • 如果磁盘允许,尽量避免AOF重写的频率,将默认值64M进行修改
相关推荐
HBryce243 分钟前
缓存-基础概念
java·缓存
一只爱打拳的程序猿17 分钟前
【Spring】更加简单的将对象存入Spring中并使用
java·后端·spring
时差9531 小时前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
让学习成为一种生活方式1 小时前
R包下载太慢安装中止的解决策略-R语言003
java·数据库·r语言
假装我不帅2 小时前
asp.net framework从webform开始创建mvc项目
后端·asp.net·mvc
秋意钟2 小时前
MySQL日期类型选择建议
数据库·mysql
神仙别闹2 小时前
基于ASP.NET+SQL Server实现简单小说网站(包括PC版本和移动版本)
后端·asp.net
计算机-秋大田2 小时前
基于Spring Boot的船舶监造系统的设计与实现,LW+源码+讲解
java·论文阅读·spring boot·后端·vue
Dxy12393102163 小时前
python下载pdf
数据库·python·pdf