我的Redis笔记2【分布式缓存】

我的Redis笔记2【分布式缓存】

1、单节点Redis的一些问题

  • 【数据丢失问题】Redis是内存存储,服务重启可能会丢失数据 实现Redis数据持久化
  • 【并发能力问题】单节点Redis并发能力不错,但也无法满足如618这样的高并发场景 搭建主从集群,实现读写分离
  • 【存储能力问题】Redis基于内存,单节点能存储的数据量难以满足海量数据需求 搭建分片集群,利用插槽机制实现动态扩容
  • 【故障恢复问题】如果Redis宕机,则服务不可用,需要一种自动故障恢复手段 利用Redis哨兵,实现健康检测和自动恢复

2、Redis持久化

2.1 RDB持久化

  • RDB全称Redis Database Backup file(Redis数据备份文件),也被叫做Redis数据快照
  • 简单来说就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后,从磁盘读取快照文件,恢复数据。
  • 快照文件称为RDB文件,默认是保存在当前运行目录。


单机和集群搭建Redis文档(来源:黑马程序员)



  • 操作系统中的 fork () 函数:创建一个新的进程(子进程),子进程是父进程的 "副本",和父进程独立运行。
  • 版本控制系统(Git/GitHub)中的 Fork:复制别人的代码仓库到自己的账号下(相当于 "抄一份到自己家"),可独立修改,不影响原仓库。
  • bgsave开始时会fork主进程得到子进程,子进程共享主进程的内存数据。完成fork后读取内存数据并写入 RDB 文件。

📕fork采用的是copy-on-write技术:

🖊当主进程执行读操作时,访问共享内存;

🖊当主进程执行写操作时,则会拷贝一份数据,执行写操作。

2.2 AOF持久化

  • AOF全称为Append Only File(追加文件)。Redis处理的每一个写命令都会记录在AOF文件。






  • 因为是记录命令,AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作,但只有最后一次写操作才有意义。通过执行bgrewriteaof命令,可以让AOF文件执行重写功能,用最少的命令达到相同效果。

2.3 RDB和AOF对比

3、Redis主从

  • 主节点master只专注写操作,从节点replica只负责读操作
  • replica要从master同步数据

搭建主从集群笔记

3.1 全量同步原理


❓ master如何判断slave是不是第一次来同步数据?这里会用到两个很重要的概念:

🖊Replication Id:简称replid,是数据集的标记,id一致则说明是同一数据集。每一个master都有唯一的replid(从节点在成为从节点之前默认也是主节点,也有replid),slave则会继承master节点的replid

🖊offset:偏移量,随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slave的offset小于master的offset,说明slave数据落后于master,需要更新。

🖊因此slave做数据同步,必须向master声明自己的replication id 和offset,master才可以判断到底需要同步哪些数据(replication id不一样👉全量同步;replication id一样👉增量同步)

3.2 增量同步


相关推荐
SHENGWEI胜为4 小时前
交换机端口显示正常,终端却获取不到 IP 地址?从 DHCP 流程定位故障
服务器·网络·测试工具·缓存·通信工程
果壳science5 小时前
张祥前实验如何获取正电荷
笔记·科技·嵌入式硬件·硬件工程·制造
夕除6 小时前
redis--数据类型 string list
redis
一条泥憨鱼7 小时前
【Redis | 黑马点评】分布式锁;Lua脚本;Redisson与看门狗 |源码万字详解
redis·分布式·lua
大叔学Linux7 小时前
FreeRTOS任务切换笔记
arm开发·笔记
stark张宇8 小时前
库存扣减的“锁”事:悲观锁、乐观锁、分布式锁
redis·分布式·mysql
AAASilverwolf9 小时前
OpenAI 新增 12 小时提示缓存:跨小时任务能省多少?
人工智能·gpt·缓存·api
职豚求职小程序刷题9 小时前
易方达基金2027秋招笔试|考什么+场次提醒
笔记
无锡银洲自动化10 小时前
煤粉测点频繁堵管?FD 防堵风压取样器现场调试小结
笔记·产品运营
ACP广源盛1392462567310 小时前
Type-C 扩展坞选型笔记:DP1.4a 转 HDMI2.0 桥接方案 GSV2201E @ACP评估
笔记·硬件架构·硬件工程·视频·hdmi·国产芯片