【jupyter 使用多进程方案】

可选择的方案:

  1. ✅ pathos.multiprocessing
  2. ✅ joblib.Parallel

来写的 Jupyter Notebook 兼容版本 示例。


✅ 方法一:使用 pathos.multiprocessing(Jupyter友好)

python 复制代码
from pathos.multiprocessing import ProcessingPool as Pool
from tqdm import tqdm

def process_image(img_path, output_path):
    # 你的图像处理逻辑,比如保存图像到 output_path
    # 示例代码如下(请根据你实际处理内容修改):
    from PIL import Image
    img = Image.open(img_path)
    img.save(output_path)
    return output_path

# 构造参数列表(每个是一个元组)
args = [(img_path, output_path / img_path.name) for img_path in img_paths]

# 初始化 Pool 并并行处理
pool = Pool()  # 默认使用 CPU 核心数

# tqdm 不支持 map 直接用,写成 list
results = list(tqdm(pool.uimap(lambda args: process_image(*args), args), total=len(args)))

🔑 特点:

  • 支持在 Jupyter 中直接运行;
  • 不需要 if __name__ == "__main__";
  • 支持传多个参数(通过 *args 拆包);
  • 使用 uimap() 可以有 tqdm 进度条(imap 带顺序,map 会等全部完成)。

✅ 方法二:使用 joblib.Parallel(适合CPU密集,稳定)

python 复制代码
from joblib import Parallel, delayed
from tqdm import tqdm

def process_image(img_path, output_path):
    from PIL import Image
    img = Image.open(img_path)
    img.save(output_path)
    return output_path

# tqdm 进度条用在参数上
results = Parallel(n_jobs=-1)(
    delayed(process_image)(img_path, output_path / img_path.name)
    for img_path in tqdm(img_paths)
)

🔑 特点:

  • n_jobs=-1 表示使用所有可用核心;
  • 同样支持多个参数;
  • 在 Jupyter 运行稳定,依赖 loky 后端;
  • 避免了 pickle 报错。

📦 安装依赖

如果你没有安装 pathos 或 joblib:

bash 复制代码
pip install pathos joblib

✅ 总结对比

特性 pathos joblib
Jupyter兼容 ✅ ✅
多参数传递 ✅(tuple 拆包) ✅(delayed(f)(...))
支持 tqdm ✅(配合 uimap) ✅(在 for 循环外)
稳定性/文档支持 中(社区较活跃) 高(广泛用于 sklearn 等)
推荐使用场景 函数自由写、调试方便 大批量 CPU 密集任务
相关推荐
用户019027581617 小时前
Telegram Bot 股票到价提醒:AlphaFeed 轮询 + sendMessage
python
黑客笔记8 小时前
Python 进程池和线程池:用等待任务理解并发
开发语言·python
卷无止境9 小时前
Python 开发中的资源管理:统一生命周期,保留资源差异
后端·python
新*9 小时前
520 万数据迁移实战:Elasticsearch 索引重建与"改名"的完整踩坑记录
python·mysql·elasticsearch·数据迁移
吴名氏.9 小时前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
黑客笔记19 小时前
python小工具win7翻车事故现场
python
岁月宁静21 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
benchmark_cc21 小时前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
ZhengEnCi1 天前
项目越写越乱?先别改架构:用一次目录重排 + 一份可复算的体检脚本把乱治住
python·架构·ai编程
Dmz丶1 天前
前端转 AI 100 天 Day 45:阶段复盘——从“会调 API”到“做出 AI 产品”
python