concurrent库学习之ThreadPoolExecutor模块

concurrent库学习之ThreadPoolExecutor模块

一、简介

concurrent.futures.ThreadPoolExecutor 是 Python 标准库中的一个模块,用于管理线程池并行执行任务。它提供了一种高层次的接口来启动和管理线程,简化了并发编程的复杂性。

二、语法和参数

语法
python 复制代码
concurrent.futures.ThreadPoolExecutor(max_workers=None, thread_name_prefix='', initializer=None, initargs=())
参数
  • max_workers:线程池中允许的最大线程数。如果为 None 或未指定,则默认值为 os.cpu_count() * 5。
  • thread_name_prefix:线程名称的前缀,用于标识线程。
  • initializer:每个工作线程在启动时调用的可调用对象。
  • initargs:传递给 initializer 的参数元组。

三、实例

3.1 使用线程池执行简单任务
  • 代码
python 复制代码
import concurrent.futures
import time

def task(n):
    print(f"Task {n} is running")
    time.sleep(2)
    return f"Task {n} completed"

with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
    futures = [executor.submit(task, i) for i in range(5)]
    for future in concurrent.futures.as_completed(futures):
        print(future.result())
  • 输出

    Task 0 is running
    Task 1 is running
    Task 2 is running
    Task 3 is running
    Task 0 completed
    Task 4 is running
    Task 1 completed
    Task 2 completed
    Task 3 completed
    Task 4 completed

3.2 使用线程池执行带有返回值的任务
  • 代码
python 复制代码
import concurrent.futures

def square(n):
    return n * n

with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
    results = list(executor.map(square, range(10)))
    print(results)
  • 输出

    [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

四、注意事项

  1. ThreadPoolExecutor 适用于 I/O 密集型任务,而不是 CPU 密集型任务。对于 CPU 密集型任务,建议使用 ProcessPoolExecutor。
  2. 确保正确管理线程池的生命周期,使用 with 语句可以自动管理资源。
  3. 在提交大量任务时,注意控制 max_workers 的数量,以避免线程过多导致系统资源耗尽。
  4. 使用 concurrent.futures.as_completed 可以按完成顺序获取任务结果,而不是提交顺序。

​

相关推荐
用户019027581612 小时前
AlphaFeed 查不到代码返回空?非法/缺后缀 symbol 的行为与处理
python
isfox2 小时前
Python 单元测试:别再用 print 调试了,写个测试一劳永逸
python
用户298698530142 小时前
在 Python 中把 Word 文档转换为 JSON 的三种实现方式
python·json·api
用户0332126663672 小时前
使用 Python 删除 Excel 中的空白行或空白列
python·excel
databook3 小时前
时间序列特征,哪些当时就能算出来
python·数据分析
kevin_org3 小时前
LangChain入门学习(四)
python·学习·langchain·fastapi
特立独行的猫A11 小时前
别再用 nohup 了:让应用在后台常驻的正确姿势与 systemd 服务详解
java·后端·python
吃我一窝jio14 小时前
Python与Go线程模型深度对比
java·开发语言·python
zwd200515 小时前
Manim 怎么放大画面的某一部分?
python·动画·可视化·manim·数学动画
屿华AI16 小时前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车