【jupyter 使用多进程方案】

可选择的方案:

  1. pathos.multiprocessing
  2. joblib.Parallel

来写的 Jupyter Notebook 兼容版本 示例。


✅ 方法一:使用 pathos.multiprocessing(Jupyter友好)

python 复制代码
from pathos.multiprocessing import ProcessingPool as Pool
from tqdm import tqdm

def process_image(img_path, output_path):
    # 你的图像处理逻辑,比如保存图像到 output_path
    # 示例代码如下(请根据你实际处理内容修改):
    from PIL import Image
    img = Image.open(img_path)
    img.save(output_path)
    return output_path

# 构造参数列表(每个是一个元组)
args = [(img_path, output_path / img_path.name) for img_path in img_paths]

# 初始化 Pool 并并行处理
pool = Pool()  # 默认使用 CPU 核心数

# tqdm 不支持 map 直接用,写成 list
results = list(tqdm(pool.uimap(lambda args: process_image(*args), args), total=len(args)))

🔑 特点:

  • 支持在 Jupyter 中直接运行;
  • 不需要 if __name__ == "__main__"
  • 支持传多个参数(通过 *args 拆包);
  • 使用 uimap() 可以有 tqdm 进度条(imap 带顺序,map 会等全部完成)。

✅ 方法二:使用 joblib.Parallel(适合CPU密集,稳定)

python 复制代码
from joblib import Parallel, delayed
from tqdm import tqdm

def process_image(img_path, output_path):
    from PIL import Image
    img = Image.open(img_path)
    img.save(output_path)
    return output_path

# tqdm 进度条用在参数上
results = Parallel(n_jobs=-1)(
    delayed(process_image)(img_path, output_path / img_path.name)
    for img_path in tqdm(img_paths)
)

🔑 特点:

  • n_jobs=-1 表示使用所有可用核心;
  • 同样支持多个参数;
  • 在 Jupyter 运行稳定,依赖 loky 后端;
  • 避免了 pickle 报错。

📦 安装依赖

如果你没有安装 pathosjoblib

bash 复制代码
pip install pathos joblib

✅ 总结对比

特性 pathos joblib
Jupyter兼容
多参数传递 ✅(tuple 拆包) ✅(delayed(f)(...)
支持 tqdm ✅(配合 uimap ✅(在 for 循环外)
稳定性/文档支持 中(社区较活跃) 高(广泛用于 sklearn 等)
推荐使用场景 函数自由写、调试方便 大批量 CPU 密集任务
相关推荐
多恩Stone23 分钟前
【3DV 进阶-2】Hunyuan3D2.1 训练代码详细理解下-数据读取流程
人工智能·python·算法·3d·aigc
xiaopengbc33 分钟前
在 Python 中实现观察者模式的具体步骤是什么?
开发语言·python·观察者模式
Python大数据分析@38 分钟前
python用selenium怎么规避检测?
开发语言·python·selenium·网络爬虫
ThreeAu.42 分钟前
Miniconda3搭建Selenium的python虚拟环境全攻略
开发语言·python·selenium·minicoda·python环境配置
偷心伊普西隆1 小时前
Python EXCEL 理论探究:格式转换时处理缺失值方法
python·excel
精灵vector2 小时前
LLMCompiler:基于LangGraph的并行化Agent架构高效实现
人工智能·python·langchain
java1234_小锋2 小时前
Scikit-learn Python机器学习 - 特征降维 压缩数据 - 特征选择 - 移除低方差特征(VarianceThreshold)
python·机器学习·scikit-learn
万邦科技Lafite2 小时前
实战演练:通过API获取商品详情并展示
大数据·数据库·python·开放api接口