Python 进程池和线程池:用等待任务理解并发

ailx10说:这篇是我2024年7月写的。那阵子我正在做千万级数据的性能优化,想把几个耗时任务安排得更合理一点,于是拿 sleep 写了一个容易看清效果的小实验。六个任务串着跑要等一分钟,换成三个进程一起做,大约二十秒;再把每个任务里的等待拆给线程,时间又缩短了一截。这篇保留了一个进程池示例,也梳理了线程怎样重叠等待。不过这里模拟的是等待,不是拿真实的千万条数据跑出来的成绩;它更适合用来理解进程池、线程池怎样配合,别把演示数字直接当成业务性能保证。


六个 10 秒等待任务交给三个进程时,理想情况下需要约两轮;如果每项任务的两个 5 秒等待互不依赖并能同时进行,耗时可能缩短。实际时间还包括启动和调度开销。

下面用更短的等待演示进程池,不把结果当性能基准:

python 复制代码
from concurrent.futures import ProcessPoolExecutor
from time import perf_counter, sleep
import os


def task(n):
    sleep(0.1)
    return (os.getpid(), n * n)


if __name__ == "__main__":
    started = perf_counter()
    with ProcessPoolExecutor(max_workers=3) as pool:
        results = list(pool.map(task, range(1, 7)))
    print(results)
    print(f"耗时:{perf_counter() - started:.3f} 秒")

线程池可用于重叠等待型工作;两个操作只有确实相互独立时才能同时提交,再通过 future.result() 等待结果。原文把 os.getpid() 输出标成线程 ID;它实际上返回进程 ID。同一进程内可用 threading.get_ident() 查看线程标识。

sleep 是人为模拟等待,不能证明对真实网络、磁盘或 CPU 计算的提速。普通 CPython 中线程对 CPU 密集型 Python 代码的扩展性也受 GIL 等因素影响;应针对工作负载、Python 版本及实际资源分别测量。

参考:Python concurrent.futures。

这几组数字演示的是等待怎样被重叠,并不是把所有工作都变快的保证。以后遇到真实任务,先分清它是在等IO还是占CPU,再决定把并发加在哪一层。

相关推荐
卷无止境23 分钟前
Python 开发中的资源管理:统一生命周期,保留资源差异
后端·python
新*32 分钟前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移
吴名氏.1 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
黑客笔记11 小时前
python小工具win7翻车事故现场
python
pps-key12 小时前
网络攻防入门:从“黑客梦”到合法实操(生存篇)
开发语言·web安全·php
汤姆宝库13 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静13 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
benchmark_cc13 小时前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
ZhengEnCi15 小时前
项目越写越乱?先别改架构:用一次目录重排 + 一份可复算的体检脚本把乱治住
python·架构·ai编程