今天要给模块添加异步和并发。之前封装的logging库不支持异步操作,搞了半天还是回到了文件写+硬编码的方式了。
异步和并发,之前没有搞过,属于是现学,记录一下。
并发是指多个任务在同一时间段内交替执行,但并不一定在同一时刻真正同时发生。它是一种逻辑上的"同时",通过任务切换和调度实现,例如在单核处理器上通过时间片轮转技术让多个任务交替运行。
并行是指多个任务在物理上同时执行,通常需要多个处理器或核心支持。它是真正的"同时"执行,通过硬件资源分配实现任务的高效处理。
在传统的同步模型中,当发起请求后,程序会立刻停下来,阻塞在这里,什么也不做,直到下载完成。在这期间,cpu无法处理其他任何任务。
async
和 await
的出现,就是为了解决这个问题。它们的核心思想是:当一个任务需要等待(I/O 操作)时,不要阻塞,而是主动"让出" CPU 的控制权,让 CPU 去执行其他已经准备好的任务。 等待完成后,再"切换"回来继续执行。
一个被 async
修饰的函数,它定义的不是一个普通的函数,而是一个协程对象。这个对象本身不执行任何代码,它更像是一个"任务蓝图"或"一个可以稍后执行的任务"。
await
是暂停当前协程,等待另一个协程完成。
在一个函数内部,如果你想调用另一个async def
函数并等待它的结果,那么:
- 调用方函数本身也必须被声明为
async def
。 - 在调用
async def
函数时,必须使用await
关键字。
对于第三方HTTP请求,使用httpx
库进行异步实现。
对于文件读写,使用aiofiles
库进行异步实现。
FastAPI
应用通常结合Gunicorn
和Uvicorn
来部署,以支持并发处理。Gunicorn
作为WSGI HTTP服务器,可以管理多个worker进程,而Uvicorn
则负责处理异步请求。
gunicorn启动:
shell
gunicorn -w 4 -k uvicorn.workers.UvicornWorker app:app
此时,会产生一个Master和四个worker进程。Master进程管理这worker进程,如果worker进程挂了,Master会再产生相应的worker进行。
形象来说:gunicorn是资源经理,uvicorn是技术工人(uvicorn.workers。经理负责将任务给工人,工人完成任务。
如果要停止这个服务,只需要杀掉Master进程。
-
查找Master pid
shellps aux | grep gunicorn # 找到pid最小的(一般是
-
杀死pid
shellkill Master-Pid
在app.py文件中:
python
# -- fastapi示例
if __name__ == '__main__':
uvicorn.run(...)
使用python app.py
调用的是文件里面的uvicorn
服务器。
使用gunicorn -w 4 -k uvicorn.workers.UvicornWorker app:app
是调用的里面的fastapi示例,而不调用if __name__
里面的方法。