redis高级篇之单线程和多线程

目录

1、redis的发展史

2、redis为什么选择单线程?

3、主线程和Io线程是怎么协作完成请求处理的?

4、IO多路复用

5、开启redis多线程


1、redis的发展史

Redis4.0之前是用的单线程,4.0以后逐渐支持多线程

Redis4.0之前一直采用单线程的主要原因有以下三个:

1、使用单线程模型使Redis的开发和维护更简单,因为单线程模型方便开发和调试;

2、即使使用单线程模型也并发的处理多客户端的请求,主要使用的是IO多路复用和非阻塞IO;

3、对于Redis系统来说,主要的性能瓶颈是内存或者网络带宽而并非 CPU。

2、redis为什么选择单线程?

Redis是单线程:主要是指Redis的网络IO和键值对读写是由一个线程来完成的,Redis在处理客户端的请求时包括获取(socket读)、解析、执行、内容返回(socket写)等都由一个顺序串行的主线程处理,这就是所谓的"单线程"。这也是Redis对外提供键值存储服务的主要流程。

但是Redis的其他功能,比如持久化RDB、AOF、异步删除、集群数据同步等等,其实是由额外的线程执行的。Redis命令工作线程是单线程的,但对整个Redis来说是多线程的

redis使用单线程的缺点:

正常情况下使用del指令可以很快的删除数据,而当被删除的 key是一个非常大的对象时,例如时

包含了成千上万个元素的 hash集合时,那么del指令就会造成Redis主线程卡顿。

解决方案:从Redis4开始使用惰性删除可以有效的避免 Redis卡顿的问题

unlink key

flushdb async

flushall async

这三个命令把删除工作交给了后台的小弟(子线程)异步来删除数据了。

Redis6/7采用多个IO线程来处理网络请求,提高网络请求处理的并行度。

但是,Redis的多IO线程只是用来处理网络请求的,对于读写操作命令Redis仍然使用单线程来处理。这是因为,Redis处理请求时,网络处理经常是瓶颈,通过多个IO线程并行处理网络操作,可以提升实例的整体处理性能。而继续使用单线程执行命令操作,就不用为了保证Lua脚本、事务的原子性,额外开发多线程互斥加锁机制了(不管加锁操作处理),这样一来,Redis线程模型实现就简单了。

3、主线程和Io线程是怎么协作完成请求处理的?

阶段一:服务端和客户端建立Socket连接,并分配处理线程。

首先,主线程负责接收建立连接请求。当有客户端请求和实例建立Socket连接时,主线程会创建和客户端的连接,并把Socket放入全局等待队列中。紧接着,主线程通过轮询方法把Socket连接分配给lO线程。

阶段二:I0线程读取并解析请求。

主线程一旦把Socket分配给I0线程,就会进入阻塞状态,等待I0线程完成客户端请求读取和解析。因为有多个IO线程在并行处理,所以,这个过程很快就可以完成。

阶段三:主线程执行请求操作。

等到IO线程解析完请求,主线程还是会以单线程的方式执行这些命令操作。

阶段四:IO线程回写Socket和主线程清空全局队列。

当主线程执行完请求操作后,会把需要返回的结果写入缓冲区,然后,主线程会阻塞等待I0线程,把这些结果回写到Socket中,并返回给客户端。和IO线程读取和解析请求一样,IO线程回写Socke时,也是有多个线程在并发执行,所以回写Socket的速度也很快。等到IO线程回写Socket完毕,主线程会清空全局队列,等待客户端的后续请求。

4、IO多路复用

文件描述符(File descriptor)简称FD,句柄。是计算机科学中的一个术语,是一个用于表述指向文件的引用的抽象化概念。文件描述符在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。在程序设计中,文件描述符这一概念往往只适用于UNIX、Linux这样的操作系统。

**IO多路复用:**I/O多路复用(I/O Multiplexing)是一种在单个线程中管理多个I/O操作的机制。它允许一个进程或线程监视多个文件描述符(sockets、文件、管道等)的可读、可写状态,从而实现在单个线程中处理多个I/O操作。

I/O:网络I/O,尤其在操作系统层面指数据在内核态和用户态之间的读写操作

多路:多个客户端连接(连接就是套接字描述符,即socket或者channel)

复用:复用一个或几个线程。

IO多路复用:就是说一个或一组线程处理多个TCP连接,使用单进程就能够实现同时处理多个客户端的连接,无需创建或者维护过多的进程/线程。

epoll函数:是Linux系统提供的一种高效的I/O多路复用机制,它可以在一个线程中同时处理多个文件描述符上的I/O事件,比传统的select/poll模型更加高效

redis为什么那么快?

因为使用了IO多路复用和epoll函数,而不是仅仅单线程命令和redis安装在内存中。

在Redis6/7版本中多线程默认是关闭的

5、开启redis多线程

打开redis.conf文件

io-threads:设置线程个数

io-thread-do-reads:是否启动多线程

关于线程数的设置,官方的建议是如果为4核的 CPU,建议线程数设置为2或3,如果为8核CPU建议线程数设置为6,线程数一定要小于机器核数,线程数并不是越大越好。

相关推荐
woshilys6 分钟前
sql server 查询对象的修改时间
运维·数据库·sqlserver
Hacker_LaoYi6 分钟前
SQL注入的那些面试题总结
数据库·sql
建投数据1 小时前
建投数据与腾讯云数据库TDSQL完成产品兼容性互认证
数据库·腾讯云
Hacker_LaoYi2 小时前
【渗透技术总结】SQL手工注入总结
数据库·sql
岁月变迁呀2 小时前
Redis梳理
数据库·redis·缓存
独行soc2 小时前
#渗透测试#漏洞挖掘#红蓝攻防#护网#sql注入介绍06-基于子查询的SQL注入(Subquery-Based SQL Injection)
数据库·sql·安全·web安全·漏洞挖掘·hw
你的微笑,乱了夏天3 小时前
linux centos 7 安装 mongodb7
数据库·mongodb
黄油饼卷咖喱鸡就味增汤拌孜然羊肉炒饭3 小时前
SpringBoot如何实现缓存预热?
java·spring boot·spring·缓存·程序员
工业甲酰苯胺3 小时前
分布式系统架构:服务容错
数据库·架构
独行soc4 小时前
#渗透测试#漏洞挖掘#红蓝攻防#护网#sql注入介绍08-基于时间延迟的SQL注入(Time-Based SQL Injection)
数据库·sql·安全·渗透测试·漏洞挖掘