redis的线程模型

Redis 的线程模型其实是分两块的:

  1. Redis 6.0 之前的单线程模型。其实从 4.0 开始,Redis 并不是严格意义上的单线程模型,因为 Redis 除了主线程外,也有一些后台的线程或者子进程在处理任务(例如清理脏数据、生成快照、AOF 重写),这个时候大家所说的单线程应该是 Redis 的主线程模型。

  2. Redis 6.0 之后的多线程模型。Redis 在 6.0 之后引入了一种多线程模型,用于处理网络 I/O 的任务。

所以,你的回答要涉及这两个方面。

  • Redis 的单线程是指Redis 在执行一次命令时是单线程的 。其过程包括接收客户端请求 -> 解析请求 ->数据读写等操作->返回结果给客户端 ,这个过程是由一个主线程来完成的,这也是我们常说 Redis 是单线程的原因。Redis 的模型是基于单线程事件驱动模型,内部使用文件事件处理器,而这个文件事件处理是单线程的,也就决定了 Redis 是单线程的。其核心原理是:采用 IO多路复用机制同时监听多个 socket,将产生事件的 socket 压入内存队列中,事件分派器根据 socket 上的事件类型来选择对应的事件处理器进行处理。

  • 随着底层网络硬件越来越好,Redis 的性能瓶颈逐渐体现在网络 I/O 的读写上,单个线程处理网络 I/O 读写的速度跟不上底层网络硬件执行的速度。所以为了提高 Redis 的性能,在 Redis 6.0 引入多线程模型 ,该多线程模型只用来处理网络数据的读写和协议解析,执行读写命令的仍然是单线程

Redis 线程模型详解

Redis 的单线程模型

Redis 的单线程是指Redis 在执行一次命令时是单线程的。Redis 客户端与服务端的模型可以简化如下图:

步骤2 执行命令为单线程,其过程包括「接收客户端请求 -> 解析请求 ->数据读写等操作->返回结果给客户端」,这个过程是由一个主线程来完成的,这也是我们常说 Redis 是单线程的原因。

从 Redis 的内部设计来说,Redis 是基于 Reactor 模式开发了自己的网络事件处理器,这个处理器称之为文件事件处理器,而这个文件事件处理器是单线程的,这就决定了 Redis 是单线程的。文件事件处理器包含 5 个部分:

  • 多个 socket:Redis 网络通信的起点,Redis 服务器为每个连接的客户端维护一个套接字,用于接收请求和发送响应。

  • IO 多路复用程序:文件事件处理器的核心。它负责监控所有套接字并确定哪些套接字准备好进行读写操作。

  • 任务队列:处理的任务的队列。

  • 文件事件分派器:当 I/O 多路复用程序确定某个套接字准备好读写时,文件事件分派器负责将这个事件分派给相应的事件处理器。

事件处理器:Redis 对不同类型的文件事件定义了相应的事件处理器。当特定类型的事件发生时,对应的事件处理器会被触发以处理这些事件。

多个 socket 会产生不同的操作,每个操作对应一个不同的文件事件, IO 多路复用程序会监听多个 socket,将产生的事件放入到任务队列中排队,文件事件分派器每次从任务队列中获取一个事件,将其转发给对应的事件处理器进行处理。如下:

客户端与 Redis 服务端建立连接的过程

  • Redis sever 启动时,会把 AE_READABLE 事件与连接应答处理器关联。

  • 当客户端向 Redis 发起连接时,这是 Server Socket 会产生一个 AE_READABLE 事件,IO 多路复用程序监听到该事件后将 socket信息压入到任务队列中。

  • 文件事件分派器每次从任务队列中取一个 socket ,将其交给事件处理器,由于在 Redis 初始化时 AE_READABLE 是与连接应答处理器关联,所以就由连接应答处理器来处理该事件。

  • 连接应答处理器会创建一个与该客户端通信的 Socket(我们这里叫 socket1),并将 socket1 的 AE_READABLE 事件与命令请求处理器关联。

客户端发送请求给 Redis 服务端过程

  • 客户端发送读写请求(比如 set key value)给服务端,首先会在对应的 Socket(socket1)上面产生一个 AE_READABLE事件,IO 多路复用程序监听到该事件后将 socket信息压入到任务队列中。

  • 文件事件分派器从任务队列中取 Socket 信息转发给事件处理器,由于建立连接时 socket1 的 AE_READABLE 事件已经与命令请求处理器关联了,所以文件事件分派器将命令请求处理器。

  • 命令处理器读取该 Socket 的相关信息后执行相关命令,操作完成后,会将 socket01 的 AE_WRITABLE 事件与命令回复处理器关联。

  • 如果客户端已经准备好了接收结果,那么 socket1 会产生一个 AE_WRITABLE,IO 多路复用程序将 Socket 压入队列,然后由文件事件派发器转发给事件处理器。

  • 由于 socket1 的AE_WRITABLE 事件与命令回复处理器关联,所以由命令回复处理器处理,命令回复处理器将准备好的相应数据写入socket01(socket连接是双向的),返回给客户端,之后解除 socket01 的 AE_WRITABLE 事件与命令回复处理器的关联。

Redis 的 I/O 多线程模型

我们 Redis 是基于内存操作,内存的响应时长大约为 100 纳秒,单线程的 Redis 处理数据的极限是 80,000 到 100,000 QPS,对于绝大多数的场景来说,单线程的 Redis 其实是已经够用了。

但是,随着底层网络硬件越来越好,Redis 的性能瓶颈逐渐体现在 I/O 的读写上(CPU 从来都不是 Redis 的性能瓶颈),单个线程处理网络 I/O 读写的速度跟不上底层网络硬件执行的速度。所以,为了提高 Redis 的整体性能,在 6.0 引入多线程,注意,引入的多线程模型只⽤来处理处理网络数据的读写和协议解析,对于 Redis 的读写命令,依然是单线程处理。

Redis 6.0 引入 I/O 多线程模型后,将一个命令的执行分为了两部分:

  • Socket 读写和请求解析使用多线程处理,多个 socket 读写可以并行化

  • 执行请求依然还是使用主线程,存内存操作,在高效的同时也保证了安全性。

主要流程如下:

  1. 主线程负责接收并建立(多个)连接请求,获取 socket 后放入全局等待处理队列;
  2. 主线程处理完这些事件之后,通过RR(Round Robin 轮询)将可读 socket 分配给这些 IO 线程;
  3. 主线程阻塞,等待 IO 线程完成命令的读取、解析;
  4. 主线程执⾏ IO 线程读取和解析出来的 Redis 请求命令,并将结果写到输出缓冲区;
  5. 主线程阻塞,等待 IO 线程将命令执⾏结果写回 socket(客户端);
  6. 主线程执行所有命令并清空整个等待队列,等待客户端后续的请求队列。

如下图:

什么是IO多路复用

  • I/O 指的是网络 I/O, 多路指的是多个 TCP 连接(如 Socket),复用指的是复用一个或多个线程。

  • I/O 多路复用的核心原理就是不再由应用程序自己来监听连接,而是由服务器内核替应用程序监听。

Redis IO多路复用是Redis一种高性能、高效的IO模型,用于处理多个客户端与Redis服务器之间的通信。通过使用IO多路复用,Redis可以在单个线程中同时处理多个客户端请求,而不需要为每个客户端请求创建一个线程或进程。

在传统的IO模型中,每个客户端请求都需要在一个独立的线程中处理,这样会导致系统资源的浪费,并且在高并发的情况下会产生大量的线程切换开销。而使用IO多路复用的方式,Redis只需要一个线程来监听所有的客户端连接,当有客户端请求到达时,通过IO多路复用机制可以有效地管理和响应多个请求。

Redis IO多路复用的底层是利用操作系统的相关机制来实现的,不同的操作系统有不同的实现方式,常用的有select、poll和epoll等。这些机制使得Redis可以同时监听多个客户端的连接,并在有数据到达时立即做出响应,提高了系统的响应能力和吞吐量。

在使用IO多路复用的模型中,Redis通过将客户端的套接字文件描述符(socket)注册到一个事件监听器中,当有事件发生时,如读取或写入数据,则将对应的回调函数放入事件处理器中执行。这样可以实现多个客户端之间的并发处理,提高系统的整体性能和效率。

Redis 中 I/O 多路复用的应用

Redis 服务器是一个事件驱动程序,服务器需要处理两类事件:文件事件和时间事件。

  • 文件事件:Redis 服务器和客户端(或其他服务器)进行通信会产生相应的文件事件,然后服务器通过监听并处理这些事件来完成一系列的通信操作。

  • 时间事件:Redis 内部的一些在给定时间之内需要进行的操作。

Redis 的文件事件处理器以单线程的方式运行,其内部使用了 I/O 多路复用程序来同时监听多个套接字(Socket)连接,提升了性能的同时又保持了内部单线程设计的简单性。下图就是文件事件处理器的示意图:

I/O 多路复用程序虽然会同时监听多个 Socket 连接,但是其会将监听的 Socket 都放到一个队列里面,然后通过这个队列有序的,同步的将每个 Socket 对应的事件传送给文件事件分派器,再由文件事件分派器分派给对应的事件处理器进行处理,只有当一个 Socket 所对应的事件被处理完毕之后,I/O多路复用程序才会继续向文件事件分派器传送下一个 Socket 所对应的事件,这也可以验证上面的结论,处理客户端的命令请求是单线程的方式逐个处理,但是事件处理器内并不是只有一个线程。

世界上凡是具有奋斗精神的民族,都生生不息,富足和快乐。世界上凡是具有奋斗精神的企业,都基业常青,受人尊敬。中华民族是这样的民族,华为和一大批中国的优秀企业是这样的企业。这样的民族和企业没有理由不赢得自己应得的地位,不自立于世界民族之林。

任正非:要快乐地度过充满困难的一生

部分内容引用自:

https://zhuanlan.zhihu.com/p/691176452

相关推荐
pwzs26 分钟前
理解最左前缀原则:联合索引命中规则全解析(含流程图)
数据库·sql·mysql
小卡车55533 分钟前
MySQL5.7递归查询
数据库
匹马夕阳44 分钟前
(二十二)安卓开发中的数据存储之SQLite简单使用
android·数据库·sqlite
kinlon.liu1 小时前
SpringBoot整合Redis限流
spring boot·redis·后端
Always_away1 小时前
数据库系统概论|第三章:关系数据库标准语言SQL—课程笔记4
数据库·笔记·sql·学习
cg50171 小时前
Spring Boot 中的自动配置原理
java·前端·数据库
程序猿John2 小时前
Mysql读写分离(2)-中间件mycat和实践方案
数据库·mysql·中间件
FreeBuf_2 小时前
美国国土安全部终止资助,CVE漏洞数据库项目面临停摆危机
数据库·安全·web安全
kinlon.liu3 小时前
使用Redis实现分布式限流
数据库·redis·分布式·缓存
神经星星4 小时前
覆盖40+主流模型及数据集,上海交大团队发布一站式蛋白质工程设计平台VenusFactory,一键部署教程已上线
数据库·人工智能·算法