Python中的并发编程

完善更新中......

一,并发编程简介

1.1 为什么要引入并发编程

场景1:一个网络爬虫,按顺序爬取花了一小时,采用并发下载减少到20分钟

场景2:一个App应用,优化前每次打开页面需要3秒,采用异步并发提升到每次200ms

引入并发就是为了提升程序运行速度

1.2 有那些编程提速的方法

1.3 Python对并发编程的支持

  • 多线程:threading,利用CPU和IO可以同时执行的原理,让CPU不会干巴巴的等待IO完成
  • 多进程:multiprocessing,利用多核CPU的能力,真正的并行执行任务
  • 异步IO:asynico,在单线程利用CPU和IO同时执行的原理,实现函数异步执行
  • 锁:使用Lock锁对资源加锁,防止冲突访问
  • 数据通信:使用Queue实现不同线程,进程之间的数据通信,实现生产者,消费者模式
  • Pool:使用线程池Pool/进程池Pool,简化线程/进程的任务提交,等待结束,获取结果等

二, python并发编程的选择

python的并发编程有三种,多线程Thread,多进程Process,多协程Coroutine

2.1 什么是CPU密集型计算,IO密集型计算

CPU密集型:也叫计算密集型,是指I/O在很短时间内就可以完成,CPU需要大量的计算和处理,特点是CPU占用率相当高,例如:解压缩/加密解密/正则表达式搜索

IO密集型:系统运作过程中大部分的状况是CPU在等待I/O(硬盘/内存)的读/写操作,CPU占用率很低.例如:文件处理程序,网络爬虫程序,读写数据库程序

2.2 多线程,多进程,多协程之间的对比

一个进程包含多个线程,一个线程包含多个进程

多进程Process(multiprocessing):

优点:可以利用多核CPU并行运算

缺点:占用资源最多,可启动数目比线程少

适用于:CPU密集型计算

多线程Thread(threading):

优点:相比进程更轻量级,占用资源少

缺点:

相比进程:多线程只能并发执行,不能利用多CPU(GIL)

相比协程:启动数目有限制,占用内存资源,有线程切换开销

适用于:IO密集型计算,同时运行的任务数目要求不多

多协程Coroutine(asyncio)

优点:内存开销最少,启动协程数量最多

缺点:支持的库有限(aiohttp VS requests)代码实现复杂

相关推荐
极限实验室38 分钟前
如何使用 INFINI Gateway 对比 ES 索引数据
数据库
Raymond运维2 小时前
MySQL包安装 -- RHEL系列(离线RPM包安装MySQL)
linux·运维·数据库·mysql
养生技术人3 小时前
Oracle OCP认证考试题目详解082系列第45题
运维·数据库·sql·oracle·开闭原则·ocp
奥尔特星云大使3 小时前
mysql主从配置(保姆级)
数据库·mysql·主从复制
BD_Marathon3 小时前
【MySQL】SQL的分类
数据库·sql·mysql
BD_Marathon5 小时前
【MySQL】函数
android·数据库·mysql
她说..6 小时前
Redis项目应用总结(苍穹外卖/黑马头条/乐尚代驾)
java·数据库·redis·缓存·消息队列·redisson·geo
蒋士峰DBA修行之路7 小时前
实验二十 GaussDB逻辑备份恢复实验
数据库·gaussdb
gsfl7 小时前
Redis 常见面试题
数据库·redis·缓存