完善更新中......
一,并发编程简介
1.1 为什么要引入并发编程
场景1:一个网络爬虫,按顺序爬取花了一小时,采用并发下载减少到20分钟
场景2:一个App应用,优化前每次打开页面需要3秒,采用异步并发提升到每次200ms
引入并发就是为了提升程序运行速度
1.2 有那些编程提速的方法
1.3 Python对并发编程的支持
- 多线程:threading,利用CPU和IO可以同时执行的原理,让CPU不会干巴巴的等待IO完成
- 多进程:multiprocessing,利用多核CPU的能力,真正的并行执行任务
- 异步IO:asynico,在单线程利用CPU和IO同时执行的原理,实现函数异步执行
- 锁:使用Lock锁对资源加锁,防止冲突访问
- 数据通信:使用Queue实现不同线程,进程之间的数据通信,实现生产者,消费者模式
- Pool:使用线程池Pool/进程池Pool,简化线程/进程的任务提交,等待结束,获取结果等
二, python并发编程的选择
python的并发编程有三种,多线程Thread,多进程Process,多协程Coroutine
2.1 什么是CPU密集型计算,IO密集型计算
CPU密集型:也叫计算密集型,是指I/O在很短时间内就可以完成,CPU需要大量的计算和处理,特点是CPU占用率相当高,例如:解压缩/加密解密/正则表达式搜索
IO密集型:系统运作过程中大部分的状况是CPU在等待I/O(硬盘/内存)的读/写操作,CPU占用率很低.例如:文件处理程序,网络爬虫程序,读写数据库程序
2.2 多线程,多进程,多协程之间的对比
一个进程包含多个线程,一个线程包含多个进程
多进程Process(multiprocessing):
优点:可以利用多核CPU并行运算
缺点:占用资源最多,可启动数目比线程少
适用于:CPU密集型计算
多线程Thread(threading):
优点:相比进程更轻量级,占用资源少
缺点:
相比进程:多线程只能并发执行,不能利用多CPU(GIL)
相比协程:启动数目有限制,占用内存资源,有线程切换开销
适用于:IO密集型计算,同时运行的任务数目要求不多
多协程Coroutine(asyncio)
优点:内存开销最少,启动协程数量最多
缺点:支持的库有限(aiohttp VS requests)代码实现复杂
