基于submitit实现Python函数的集群计算

一、项目介绍

Submitit是一款轻量级工具,旨在简化Python函数在Slurm集群上的提交过程。它不仅提供了对作业结果、日志文件等的无缝访问,更让开发者能够在本地执行与Slurm集群间切换自如,极大地提高了代码的可移植性和灵活性。

Slurm作为一种广泛使用的集群管理与作业调度软件,支持从大型到小型的Linux集群。而Submitit作为衔接本地与集群操作的桥梁,确保了高效且稳定的任务处理。

二、项目技术分析

  • 高效的任务提交机制

    Submitit的核心功能在于它的Job类及其相关方法。通过定义一个简单的Python函数(如上文示例中的add函数),只需几行代码即可实现该函数在Slurm集群上的异步调用。这种机制不仅减少了任务调度的时间开销,还增强了代码的可读性与维护性。

  • 简化日志管理

    对于每个提交的作业,Submitit会自动生成并存储相应的日志信息,包括标准输出(stdout)和错误输出(stderr)。这极大地方便了开发者追踪任务运行状态和调试潜在的问题点。

  • 兼容多环境部署

    无论是稳定版本还是主分支的安装,Submitit都提供了详尽的指导文档和多种安装选项,包括虚拟环境、Conda环境和直接Git克隆等方式,以满足不同用户的需求。此外,提供的示例程序帮助验证安装是否成功,例如通过运行MNIST示例,检查sklearn等依赖库是否正确配置。

三、代码样例

python 复制代码
pip install submitit

下面以在集群中记在 model.pth 文件中的字典 dico 为例:

python 复制代码
import os
import torch
import submitit


def load_model(bin_path):
    # 使用torch.load加载.pth文件
    model = torch.load(bin_path, map_location=torch.device('cpu'))  # 根据需要调整map_location
    dico = model['dico']
    return dico
    

if __name__ == "__main__":
    # 配置路径
    bin_path = '/data/model.pth'
    log_path = '/data/log'
    
    # 配置作业
    executor = submitit.AutoExecutor(folder=log_path, cluster="local")
    executor.update_parameters(timeout_min=60)

    # 提交作业
    job = executor.submit(load_model, bin_path)
    print("Job submitted with ID: {}".format(job.job_id))
    result = job.result()
    print("Job result: {}".format(result))

输出如下:

python 复制代码
Job submitted with ID: 2787702
Job result: <src.data.dictionary.Dictionary object at 0x7f9c21883460>
相关推荐
上单带刀不带妹20 分钟前
手写 Vue 中虚拟 DOM 到真实 DOM 的完整过程
开发语言·前端·javascript·vue.js·前端框架
im_AMBER40 分钟前
学习日志05 python
python·学习
大虫小呓1 小时前
Python 处理 Excel 数据 pandas 和 openpyxl 哪家强?
python·pandas
哪 吒1 小时前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
-凌凌漆-1 小时前
【Qt】QStringLiteral 介绍
开发语言·qt
程序员爱钓鱼1 小时前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin
军训猫猫头2 小时前
1.如何对多个控件进行高效的绑定 C#例子 WPF例子
开发语言·算法·c#·.net
真的想上岸啊2 小时前
学习C++、QT---18(C++ 记事本项目的stylesheet)
开发语言·c++·学习
明天好,会的2 小时前
跨平台ZeroMQ:在Rust中使用zmq库的完整指南
开发语言·后端·rust
摸爬滚打李上进2 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习