Python中的并发编程

完善更新中......

一,并发编程简介

1.1 为什么要引入并发编程

场景1:一个网络爬虫,按顺序爬取花了一小时,采用并发下载减少到20分钟

场景2:一个App应用,优化前每次打开页面需要3秒,采用异步并发提升到每次200ms

引入并发就是为了提升程序运行速度

1.2 有那些编程提速的方法

1.3 Python对并发编程的支持

  • 多线程:threading,利用CPU和IO可以同时执行的原理,让CPU不会干巴巴的等待IO完成
  • 多进程:multiprocessing,利用多核CPU的能力,真正的并行执行任务
  • 异步IO:asynico,在单线程利用CPU和IO同时执行的原理,实现函数异步执行
  • 锁:使用Lock锁对资源加锁,防止冲突访问
  • 数据通信:使用Queue实现不同线程,进程之间的数据通信,实现生产者,消费者模式
  • Pool:使用线程池Pool/进程池Pool,简化线程/进程的任务提交,等待结束,获取结果等

二, python并发编程的选择

python的并发编程有三种,多线程Thread,多进程Process,多协程Coroutine

2.1 什么是CPU密集型计算,IO密集型计算

CPU密集型:也叫计算密集型,是指I/O在很短时间内就可以完成,CPU需要大量的计算和处理,特点是CPU占用率相当高,例如:解压缩/加密解密/正则表达式搜索

IO密集型:系统运作过程中大部分的状况是CPU在等待I/O(硬盘/内存)的读/写操作,CPU占用率很低.例如:文件处理程序,网络爬虫程序,读写数据库程序

2.2 多线程,多进程,多协程之间的对比

一个进程包含多个线程,一个线程包含多个进程

多进程Process(multiprocessing):

优点:可以利用多核CPU并行运算

缺点:占用资源最多,可启动数目比线程少

适用于:CPU密集型计算

多线程Thread(threading):

优点:相比进程更轻量级,占用资源少

缺点:

相比进程:多线程只能并发执行,不能利用多CPU(GIL)

相比协程:启动数目有限制,占用内存资源,有线程切换开销

适用于:IO密集型计算,同时运行的任务数目要求不多

多协程Coroutine(asyncio)

优点:内存开销最少,启动协程数量最多

缺点:支持的库有限(aiohttp VS requests)代码实现复杂

相关推荐
crossoverJie31 分钟前
StarRocks 如何在本地搭建存算分离集群
数据库·后端
潇凝子潇41 分钟前
如何在不停机的情况下,将MySQL单库的数据迁移到分库分表的架构上?
数据库·mysql·架构
Tapdata1 小时前
什么是 Operational Data Hub?它因何而生,又为何能够在当下成为技术共识?
数据库
这里有鱼汤1 小时前
普通人做量化,数据库该怎么选?
数据库·后端
BOOM朝朝朝2 小时前
Mongo索引
数据库·后端
许野平3 小时前
Rust:如何访问 *.ini 配置文件?
开发语言·数据库·rust·ini·configparser
程序终结者4 小时前
超越边界:MongoDB 16MB 文档限制的 pragmatic 解决方案
数据库·mongodb
正在走向自律4 小时前
SelectDB数据库,新一代实时数据仓库的全面解析与应用
数据库·数据仓库·实时数据仓库·selectdb·云原生存算分离·x2doris 迁移工具·mysql 协议兼容
昵称是6硬币4 小时前
MongoDB系列教程-第四章:MongoDB Compass可视化和管理MongoDB数据库
数据库·mongodb
Full Stack Developme5 小时前
Java 日期时间处理:分类、用途与性能分析
java·开发语言·数据库