聊聊Python多进程

写在前面

之前一直没关注过多进程这方面,朋友问起时感觉很奇怪,因为进程是资源分配的最小单元,线程是运算调度的最小单元,代码程序本质上只是一些文本文件,给他分配对应的资源运行起来才是进程,那为什么会有多进程呢?看了看文档发现原来是通过创建子进程并管理来实现多进程。

多进程和多线程有什么区别?

虽然同样是并发,同样是均衡CPU与IO之间差距过大的运行速率,多线程是多个线程共享一个CPU,好处是线程间通信或切换很容易,坏处是目前CPU都是多核的,很容易出现一核有难八核围观的问题,同时python具有GIL(全局锁),让每个CPU在同一时间只能执行一个线程,这让我们很难实现并行计算。而多进程避免了这个问题,同时也要注意,多个进程之间的通信与切换成本更大。

因此python的多线程并不适合CPU密集型的任务,更适合IO密集型的任务

fork vs spawn

fork速度会更快,因为他是对父进程的整个虚拟内存进行写时复制,包括已经初始化过的python解释器,内存中构造的对象,而不需要识别哪些资源是必要的,仅将内存页作为一个整体复制。但这也会带来问题,比如由于fork不会复制父进程的线程,如果其他线程持有的存储在内存中的锁也被复制的话,但是因为没有对应的线程进行解锁,就会导致死锁。

spawn从头开始启动一个python子进程,所以安全,不继承父进程的资源,所以也不臃肿,但是启动会较慢。

进程池

进程池Pool 会帮我们实现简单的多进程任务,我们可以通过apply() 和map() 来执行任务并阻塞直到子进程计算完成任务。看下官网代码:

Python 复制代码
import multiprocessing

def function_square(data):
    result = data*data
    return result

if __name__ == '__main__':
    inputs = list(range(100))
    pool = multiprocessing.Pool(processes=4)
    pool_outputs = pool.map(function_square, inputs)
    pool.close()
    pool.join()
    print ('Pool    :', pool_outputs)

map可以将可迭代的数据的每一个元素作为一个任务来执行。任务执行结束后可以通过 pool.close() 告诉进程池不再接受新的任务,而pool.join()会一直阻塞,知道进程池中的所有工作进程都结束。

有点反常,在使用map的情况下是否不再需要join?

笔者自己试了下,确实不需要在pool.map后添加join。

相关推荐
葫芦和十三3 小时前
图解 MongoDB 28|块与迁移:balancer 怎么均衡数据
后端
葫芦和十三3 小时前
图解 MongoDB 27|分片策略:范围分片 vs 哈希分片
后端·mongodb·agent
hhzz4 小时前
Python大数据实战(十六):音乐推荐系统——基于协同过滤算法构建个性化歌单引擎
大数据·人工智能·python·数据挖掘·数据分析
paopaokaka_luck4 小时前
英语单词学习系统的设计与实现(基于艾宾浩斯遗忘曲线的智能复习机制、语音朗读、多题型测试与错题自动收录、Echarts图形化分析)
vue.js·spring boot·后端·echarts
SunnyDays10114 小时前
Python PDF 转 Markdown 详解(转换整个文档,特定页面,表格,扫描 PDF)
python·pdf 转 markdown·pdf 转 md·扫描 pdf 转 md·pdf 表格转 md
2601_954706494 小时前
云手机 API 自动化实战:Python 批量控机、挂机脚本完整实现
python·智能手机·自动化
我叫黑大帅4 小时前
MySQL 并发插入竞态问题:原子写入实践指南
后端·mysql·面试
zhangxingchao6 小时前
AI大模型核心八:从 Agent Skill、长文档 RAG 到知识库更新与训练策略
前端·人工智能·后端
我叫黑大帅6 小时前
别再手动写 updated_at了,这坑我踩过
后端·面试·go
zhangxingchao6 小时前
AI大模型核心七:从 Workflow、RAG、记忆治理到幂等性
前端·人工智能·后端