一文速通 Python 并行计算：01 Python 多线程编程-基本概念、切换流程、GIL 锁机制和生产者与消费者模型

线程，有时被称为轻量进程，是程序执行流的最小单元。一个标准的线程由线程 ID，当前指令指针(PC），寄存器集合和堆栈组成。 线程是进程中的一个实体，是被系统独立调度和分派的基本单位，线程不拥有私有的系统资源，但它可与同属一个进程的其它线程共享进程所拥有的全部资源。一个线程可以创建和撤消另一个线程，同一进程中的多个线程之间可以并发执行。

线程是程序中一个单一的顺序控制流程。 进程内有一个相对独立的、可调度的执行单元，是系统独立调度和分派 CPU 的基本单位指令运行时的程序的调度单位。在单个程序中同时运行多个线程完成不同的工作，称为多线程。 Python 多线程用于 I/O 操作密集型的任务，如 SocketServer 网络并发，网络爬虫。

2.2 线程的不同状态和切换流程

程序中包含多个线程时，CPU 不是一直被特定的线程霸占，而是轮流执行各个线程。那么，CPU 在轮换执行线程的过程中，即从创建到消亡的整个过程，可能会历经 5 种状态，分别是新建、就绪、运行、阻塞和死亡。

线程的新建状态: 无论是通过 Thread 类直接实例化对象创建线程，还是通过继承自 Thread 类的子类实例化创建线程，新创建的线程在调用 start() 方法之前，不会得到执行，此阶段的线程就处于新建状态。
线程的就绪状态: 当位于新建状态的线程调用 start() 方法后，该线程就转换到就绪状态。所谓就绪，就是告诉 CPU，该线程已经可以执行了，但是具体什么时候执行，取决于 CPU 什么时候调度它。换句话说，如果一个线程处于就绪状态，只能说明此线程已经做好了准备，随时等待 CPU 调度执行，并不是说执行了 start() 方法此线程就会立即被执行。
线程的运行状态: 当位于就绪状态的线程得到了 CPU，并开始执行 target 参数执行的目标函数或者 run() 方法，就表明当前线程处于运行状态。**但如果当前有多个线程处于就绪状态（等待 CPU 调度）时，**处于运行状态的线程将无法一直霸占 CPU 资源，为了使其它线程也有执行的机会，CPU 会在一定时间内强制当前运行的线程让出 CPU 资源，以供其他线程使用。**
线程的阻塞状态: 当 CPU 对多个线程进行调度时，对于获得 CPU 调度却没有执行完毕的线程，就会进入阻塞状态。 目前几乎所有的桌面和服务器操作系统，都采用的是抢占式优先级调度策略。即** CPU 会给每一个就绪线程一段固定时间来处理任务，当该时间用完后，系统就会阻止该线程继续使用 CPU 资源，让其他线程获得执行的机会**。对于具体选择那个线程上 CPU，不同的平台采用不同的算法，比如先进先出算法（FIFO）、时间片轮转算法、优先级算法等，每种算法各有优缺点，适用于不同的场景。

除此之外，如果处于运行状态的线程发生如下几种情况，也将会由运行状态转到阻塞状态：

以上 4 种可能发生线程阻塞的情况，解决措施分别如下：

线程死亡状态： 对于获得 CPU 调度却未执行完毕的线程，它会转入阻塞状态，待条件成熟之后继续转入就绪状态，重复争取 CPU 资源，直到其执行结束。执行结束的线程将处于死亡状态。 线程执行结束，除了正常执行结束外，如果程序执行过程发生异常（Exception）或者错误（Error），线程也会进入死亡状态。

对于处于死亡状态的线程，有以下 2 点需要注意：

①主线程死亡，并不意味着所有线程全部死亡。也就是说，主线程的死亡，不会影响子线程继续执行；反之也是如此。
②对于死亡的线程，无法再调用 start() 方法使其重新启动，否则 Python 解释器将抛出 RuntimeError 异常。

2.3 Pythn 中的 GIL 锁机制

GIL，全称是 Global Interpreter Lock，也叫做全局解释器锁。对于 CPython，**所有的 Python 线程都需要在解释器这个虚拟机中运行，而在运行之前都要先获取 GIL 这个锁，然后每执行 100 个字节码，解释器就自动释放 GIL 锁，让别的线程有机会执行。**因此即使你有多个 CPU 核，多个线程在同一个 Python 虚拟机中也应该是交替执行的。

**这就意味着：同一时间，只能有一个线程在执行的状态。GIL 对单线程程序没有影响，但会成为 CPU 密集和多线程代码的性能瓶颈。**即使在多线程结构的代码中，在同一时刻 GIL 也只允许一个线程在执行状态，因此，GIL 成为了 Python 不受欢迎的一个特性。

CPU 密集型程序是指程序运行过程中 CPU 是性能瓶颈，该类程序会涉及大量数学计算，例如矩阵乘法/搜索/图像处理等。I/O 密集型程序是指程序花费了大部分时间来等待 I/O 事件，I/O 事件可能来自用户/文件/数据库/网络等。在从数据源获取到文件之前，I/O 密集型程序需要等待大量的时间；因为在 I/O 事件就绪前，数据源需要进行自己的处理过程。例如：用户花费时间思考向输入提示符输入什么内容(会占用时间)，或者数据库在接收到检索请求后运行自己的程序(会占用时间)。

解决 GIL 的方法包括使用多进程、使用其他 Python 解释器或使用 C 扩展模块等。

2.4 生产者-消费者模型

生产者-消费者模式是一种经典的**多线程设计模式，用于解决多个线程之间的数据共享和协作问题。**在生产者-消费者模式中，有两类线程：生产者线程和消费者线程。它们之间通过共享一个缓冲区（或队列）来协作，生产者将数据放入缓冲区，消费者从缓冲区取出数据并进行处理。

生产者-消费者模式包括以下几个基本要素：

**（1）缓冲区（或队列）：**用于存储生产者生成的数据，以及消费者待处理的数据。缓冲区可以是有界的（固定容量）或无界的（容量动态增长）。
**（2）生产者：**负责生成数据并将数据放入缓冲区。生产者线程通常会等待，如果缓冲区已满，则等待消费者取走数据后继续生产。
**（3）消费者：**负责从缓冲区取出数据并进行处理。消费者线程通常会等待，如果缓冲区为空，则等待生产者放入数据后继续消费。
**（4）互斥锁：**用于保护对缓冲区的访问，确保同时只有一个线程可以访问缓冲区。
**（5）条件变量：**用于实现线程的等待和唤醒机制。生产者线程可以等待缓冲区不满，而消费者线程可以等待缓冲区不空。

下一节中，我们将通过生产者-消费者模型讲解 Python 多线程中的各个概念和应用方法。

一文速通Python并行计算：01 Python多线程编程-基本概念、切换流程、GIL锁机制和生产者与消费者模型

一文速通 Python 并行计算：01 Python 多线程编程-基本概念、切换流程、GIL 锁机制和生产者与消费者模型

摘要：

原文链接：

往期推荐：

更多精彩内容可看：

文档获取：

正文

1.多线程的基本概念

2.Python 中的多线程

2.1 基本概念

2.2 线程的不同状态和切换流程

2.3 Pythn 中的 GIL 锁机制

2.4 生产者-消费者模型