python中进程和线程

进程Process

定义:进程是操作系统分配资源的基本单位,是程序的一次执行过程。每个进程拥有独立的内存空间、代码段和系统资源。

特点:

  • 彼此独立,进程间的数据和资源默认不共享。
  • 进程切换开销较大(因为涉及到切换内存页表、寄存器等资源)。
  • 多核 CPU 上进程可以实现真正的并行执行。

python通过multiprocessing模块创建和管理进程。

python 复制代码
from multiprocessing import Process
import time

def worker():
    print(f"Process {time.process_time()} start")
    time.sleep(2)
    print(f"Process {time.process_time()} end")

processes = []
for i in range(3):
    p = Process(target=worker)
    processes.append(p)
    p.start()

for p in processes:
    p.join()

print("All processes finished.")

线程Thread

定义:线程是进程的一个执行单元,是CPU 调度的最小单位。一个进程可以包含多个线程,这些线程共享进程的内存空间和资源。

特点:

  • 同一进程内的线程共享代码段、数据段和堆区。
  • 线程切换开销小,比进程切换更快。
  • 线程间共享数据方便,但会引发同步问题(数据竞争、死锁等)。

python中通过threading模块创建和管理线程。

python 复制代码
import threading
import time

def worker():
    print(f"Thread {threading.current_thread().name} start")
    time.sleep(2)
    print(f"Thread {threading.current_thread().name} end")

threads = []
for i in range(3):
    t = threading.Thread(target=worker, name=f'Thread-{i}')
    threads.append(t)
    t.start()

for t in threads:
    t.join()

print("All threads finished.")

Python 的主线程退出,所有子线程会被强制结束。

num_workers

在我们深度学习训练过程中,通过需要设置num_workers,这其实设置的是数据加载的子进程数目。

当num_workers = 0 时,数据加载是在主进程中同步进行;

当num_workers > 0 时,pytorch会启动多个子进程来并行读取和预处理数据,从而加速数据加载,避免GPU因为等待数据而空闲。

num_workers是基于多进程实现的,pytorch 中的DataLoader采用的是python的multiprocessing模块来创建子进程,每个worker相互独立,在内存空间相互隔离。

如何设置num_workers?

一般num_workers = CPU核数 或 CPU核数 - 1:充分利用CPU资源,减少GPU等待;

总结

对比项 进程(Process) 线程(Thread)
资源占用 资源开销大,独立内存空间 资源开销小,线程共享进程资源
切换开销 切换开销大(保存和加载内存上下文) 切换开销小
通信方式 需借助 IPC(队列、管道、共享内存) 共享内存,通信方便
并行能力 多核 CPU 上可实现真正并行 受 GIL 限制,CPU 密集型无并行
适用场景 CPU 密集型任务,真正的并行计算 I/O 密集型任务,多任务调度
稳定性 进程间相互独立,一进程崩溃不影响其他进程 一个线程异常可能导致整个进程崩溃

ps:面试题

相关推荐
prince_zxill8 分钟前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
少司府20 分钟前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
伞伞悦读1 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
console.log('npc')2 小时前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习
honker_X2 小时前
Python字符串全攻略:从入门到精通
开发语言·python
贾公子2 小时前
异步检测的轮询与超时——别把「还没好」当成「失败了」
后端·python
吃我一窝jio2 小时前
Docker+Jenkins+K8s全流程部署
java·开发语言·笔记·python
欢乐马87913 小时前
优化|MPSolver 和 pywraplp 到底谁是谁?一次讲清 OR-Tools 的三层结构
python
mengge.cloud5 小时前
Python基础保姆级!从入门到入土
开发语言·python·云原生·pygame
qq_158895411119 小时前
Suno-API 是什么?官方 V6 模型与 Python / TypeScript 接入指南
python·ai音乐·suno api