Python 多线程(threading)和 多进程(multiprocessing)核心区别

文章目录

一、一句话总结区别

多线程:轻量、共享内存、受 GIL 限制,适合 IO 密集型任务(爬虫、文件、网络请求)

多进程:重量、独立内存、绕过 GIL,适合 CPU 密集型任务(计算、压缩、加密)


二、详细对比表(最清晰)

对比项 多线程(threading) 多进程(multiprocessing)
资源占用 极轻量,创建快、开销小 重量,创建慢、开销大
内存共享 共享同一块内存 完全独立内存空间
GIL 限制 受 GIL 限制,无法多核并行 绕过 GIL,真正多核并行
数据安全 不安全,必须加锁 天然安全,互不干扰
切换速度 极快 较慢
适用场景 IO 密集型 CPU 密集型
稳定性 一个线程崩溃可能拖垮整个进程 一个进程崩溃不影响其他

三、3 个最关键的核心区别

1. GIL 全局解释器锁(Python 独有!最重要)

  • 多线程 :同一时刻,只有 1 个线程在执行 Python 代码 ,没法利用多核 CPU。
    但遇到 IO 等待(爬虫、读文件)时会自动释放 GIL,所以IO 任务能提速。
  • 多进程 :每个进程有独立的 GIL,多核 CPU 可以同时跑,纯计算速度成倍提升。

2. 内存是否共享

  • 多线程 :所有线程共用一份数据,修改变量容易错乱,必须加锁。
  • 多进程 :每个进程有自己独立的数据副本,互不影响,天然安全。

3. 开销大小

  • 多线程:像打开多个标签页,几乎不占额外资源。
  • 多进程:像打开多个浏览器窗口,系统资源占用大很多。

四、最实用:你的任务该选哪个?

✅ 选 多线程(threading)

  • 网络爬虫、API 接口请求
  • 文件批量读写、日志处理
  • 数据库查询、socket 通信
  • 所有等待时间 > 计算时间的任务

✅ 选 多进程(multiprocessing)

  • 大量数值计算、数据分析
  • 视频/图片压缩、加密解密
  • 机器学习模型推理
  • 所有纯 CPU 运算的任务

五、最简单的选择口诀(背会就行)

IO 密集用多线程,轻量高效不占资源;

CPU 密集用多进程,多核加速计算飞快;

共享数据用线程(加锁),独立安全用进程。


六、简单代码对比(一眼看懂)

多线程:共享变量、轻量

python 复制代码
import threading
# 多线程共享全局变量
num = 0

多进程:独立空间、真正并行

python 复制代码
import multiprocessing
# 多进程互不共享,必须用队列/管道通信

相关推荐
Dmz丶11 小时前
前端转 AI 100 天 Day 48:向量数据库——100 万向量的毫秒级检索
python
青少儿编程课堂11 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:中国剩余定理解析
c++·python·算法·bfs·信息学竞赛
菜鸟~noob23312 小时前
[AI]间章:系列走到这里,聊聊后面的规划、造卡需要的软件平台,以及为什么我要先暂停更新
人工智能·python·fpga开发·django·pygame
TomEval21 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
prince_zxill1 天前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西
python·pip·依赖管理·pep 751
Thanks_ks1 天前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP1 天前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
yiangL_1 天前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
lula8881 天前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
数字工作台1 天前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent