Python多进程中的数据隔离

Python 多进程(multiprocessing)中,子进程会完全复制主进程的内存数据,但是进程之间的变量、数据是完全独立、互不干扰的------ 修改一个进程里的数据,绝对不会影响其他进程。

这是进程和线程最大的区别:

  • 多线程:共享同一块内存,数据会互相影响,需要加锁
  • 多进程:内存完全隔离,数据独立,天然安全

进程拥有独立的内存空间

每个进程都有自己独立的栈、堆、全局数据区,互不共享。

如果需要进程间通信(共享数据)

既然默认隔离,那想让进程之间传递数据 / 共享数据,就必须用专门的机制

常用共享 / 通信方式

方式 用途
Queue 队列 进程间安全传递数据(最常用)
Pipe 管道 两个进程间双向通信
Value / Array 共享简单数值 / 数组
Manager 共享列表、字典等复杂对象
共享内存 高性能大数据共享

注意:Windows 没有 fork 机制,Python 多进程只能靠「重新导入模块」创建子进程,模块顶层所有代码、全局变量、函数、类都会被完整加载复制,跟主进程一样;
只有 if __name__ == '__main__' 内部代码不会在子进程执行。
(因为子进程的name不是main)

Python多进程执行时序

  1. 程序启动,先从头到尾执行整个 py 文件
    运行所有 if __name__ == '__main__' 外面的代码:全局变量定义、函数定义、顶层打印、赋值语句......
  2. 执行到 if __name__ == '__main__' 内部
    创建进程对象 Process()
  3. 调用 p.start() → 唤醒子进程
  4. 子进程内部:再次先跑一遍本文件所有 main 外语句
  5. 跑完所有外层语句后,才开始执行你绑定的子进程函数
相关推荐
Q26433650235 小时前
【有源码】基于 Hadoop 生态的化妆品销售数据存储分析与可视化 面向化妆品行业的用户画像构建与销售机会识别研究
大数据·hadoop·python·机器学习·spark·毕业设计·课程设计
2601_9620781911 小时前
Python中calendar.weekday用法
python·编程技巧·calendar·日期处理·weekday
2601_9622186111 小时前
万象生鲜系统业财一体化底层打通技术自动生成经营账单
大数据·数据库·人工智能·python·算法
2601_9669496511 小时前
为什么量化策略需要大量历史股票数据?从回测可信度理解数据规模
开发语言·python·数据分析·pandas·量化交易·股票数据·quantdash
2601_9628857211 小时前
如何用 Python 扫描 A 股跳空缺口并统计缺口回补概率?
java·前端·python
李高钢12 小时前
Python FastAPI 框架入门:从零搭建你的第一个高性能 API 服务
数据库·python·fastapi
ocean210312 小时前
2025-2026年Python面试高频知识点洞察
开发语言·python·面试·python八股文
Warson_L13 小时前
Python的OrderedDict
python
隐擎fox13 小时前
高性能网络爬虫架构设计:基于 Python 的长连接复用与分布式会话池调度实践
分布式·python·网络协议·tcp/ip·高并发·网络爬虫、
Warson_L13 小时前
Python的TypedDict
python·langchain·llm