python进程池的使用

进程池的创建

apply()

apply()方法用于向进程池提交一个任务,并等待任务完成并返回结果。

apply_async()

apply_async()方法用于向进程池提交一个异步任务(即无需等待任务完成),将任务加入到进程池的队列里,并立即返回一个AsyncResult对象。

python 复制代码
# Pool 表示一个工作进程池
# 如果要启动大量的子进程,可以用进程池的方式批量创建子进程
from multiprocessing.pool import Pool
from time import sleep, time
import random,os

def run(name):
    print(f'{name},子进程开始,进程ID:{os.getpid()}')
    start = time()
    sleep(random.choice([1,2,3,4]))
    end = time()
    print(f'{name}子进程结束,进程ID:{os.getpid()},耗时{end-start}')

if __name__ == '__main__':
    print("父进程开始")
    # 创建多个进程,表示可以同时执行的进程数量,默认大小时cpu的数量
    p = Pool(4)
    for i in range(10):
        # 创建进程,放入进程池统一管理
        p.apply_async(run,args=(i,))
    # 如果我们用的时进程池,再调用join()之前必须先调用closs()
    # 并且closs()之后,不能再继续往进程池添加新的进程了
    p.close()
    # 进程池对象调用join(),会等待进程池中所有进程都结束完毕再去结束父进程
    p.join()
    print("父进程结束")
    p.terminate()

# close() :如果我们用的是进程池,再调用join()之前必须要先close()
# 并且closs()之后,不能再继续往进程池添加新的进程了
# join():进程池对象调用join(),会等待进程池中所有进程都结束完毕再去结束父进程
# terminate():一旦运行到此步,不管任务是否完成,立即终止

timeout的使用

python 复制代码
from multiprocessing import Pool
import time

def f(x):
    return x*x

if __name__ == '__main__':
    with Pool(processes = 4) as pool:                   # 进程池包含4个进程
        result = pool.apply_async(f,args=(10,))         # 执行1个子进程
        print(result.get(timeout=1))                    # 显示执行结果

        result = pool.apply_async(time.sleep,args=(10,))
        print(result.get(timeout=1))                    # raise multiprocessing.TimeoutError

map的使用

map()方法用于向进程池提交多个任务,并等待所有任务完成并返回结果。

python 复制代码
import multiprocessing as mp

def task(num):
    return num * num

if __name__ == "__main__":
    pool = mp.Pool()
    res = pool.map(task, [1, 2, 3, 4, 5])
    print(res)
python 复制代码
from multiprocessing import Pool
import time


def f(x):
    return x * x


if __name__ == '__main__':
    with Pool(processes=4) as pool:
        print(pool.map(f,range(10)))   # 输出"[0,1,4.....81]"

        it = pool.imap(f,range(10))  # map输出列表,imap输出迭代器
        print(it)
        print(next(it))             # "0"
        print(next(it))             # "1"
        print(it.next(timeout = 1)) # "4"

map_async()

map_async()方法用于向进程池提交多个异步任务(即无需等待任务完成),并立即返回一个AsyncResult对象。

python 复制代码
import multiprocessing as mp

def task(num):
    return num * num

if __name__ == "__main__":
    pool = mp.Pool()
    res = pool.map_async(task, [1, 2, 3, 4, 5])
    print(res.get())

close()和join()

close()方法用于向进程池发送一个停止信号,表示不再接受新任务。

join()方法则用于等待进程池中的所有任务完成。

python 复制代码
import multiprocessing as mp

def task(num):
    return num * num

if __name__ == "__main__":
    pool = mp.Pool()
    res = pool.map_async(task, [1, 2, 3, 4, 5])
    pool.close()
    pool.join()
    print(res.get())

Python进程池是一种用于在Python中实现并发任务的机制。

在Python中,我们可以通过multiprocessing模块提供的Pool类来实现进程池。

进程池提供了多种方法来处理任务,包括apply()、apply_async()、map()、map_async()等。

在使用进程池时,需要注意不能再向进程池中提交新的任务,否则会引发异常。同时,需要避免使用全局变量,以防止出现不一致的结果。

相关推荐
mortimer13 小时前
从 Python+venv+pip 迁移到 uv 全过程 及 处理 torch + cuda 的跨平台指南
pytorch·python·macos
berryyan13 小时前
Windows WSL 环境下配置 Claude Code 非官方账号2233.ai完整教程
人工智能·python
用户83562907805113 小时前
告别冗余:用Python删除PDF中的超链接
后端·python
川石课堂软件测试15 小时前
全链路Controller压测负载均衡
android·运维·开发语言·python·mysql·adb·负载均衡
喜欢吃豆15 小时前
微调高级推理大模型(COT)的综合指南:从理论到实践
人工智能·python·语言模型·大模型·微调·强化学习·推理模型
喜欢吃豆16 小时前
从指令遵循到价值对齐:医疗大语言模型的进阶优化、对齐与工具集成综合技术白皮书
人工智能·python·语言模型·自然语言处理·大模型·强化学习·constitutional
Access开发易登软件16 小时前
Access调用Azure翻译:轻松实现系统多语言切换
后端·python·低代码·flask·vba·access·access开发
yumgpkpm16 小时前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera
代码小菜鸡66617 小时前
java 常用的一些数据结构
java·数据结构·python
CodeCraft Studio18 小时前
Excel处理控件Aspose.Cells教程:使用 Python 将 HTML 转换为 Excel
python·html·excel·aspose·aspose.cells·html转excel