Pytorch——多卡GPU训练与单卡GPU训练相互切换

部分深度学习网络默认是多卡并行训练的,由于某些原因,有时需要指定在某单卡上训练,最近遇到一个,这里总结如下。

目录

  • 一、多卡训练
    • [1.1 修改配置文件](#1.1 修改配置文件)
    • [1.2 修改主训练文件](#1.2 修改主训练文件)
    • [1.3 显卡使用情况](#1.3 显卡使用情况)
  • 二、单卡训练
    • [2.1 修改配置文件](#2.1 修改配置文件)
    • [2.2 显卡使用情况](#2.2 显卡使用情况)
  • 三、总结

一、多卡训练

1.1 修改配置文件

1.2 修改主训练文件

上面红框中代码解析:

python 复制代码
if torch.cuda.is_available() and ngpu > 1:         # 当 torch.cuda.is_available() 为真且 ngpu > 1 时              
	model = nn.DataParallel(model, device_ids=list(range(ngpu)))

model = nn.DataParallel(model, device_ids=list(range(ngpu))):

此行代码创建了一个 DataParallel包装器,用于在多个GPU上并行处理神经网络模型。DataParallel 是 PyTorch 中的一个模块,它可以将输入数据分割并发送到不同的GPU进行处理,然后汇总结果。

model:要并行化的神经网络模型。

device_ids=list(range(ngpu)):指定要使用的GPU。在这里,它使用了所有可用的GPU,数量上限为指定的 ngpu。

1.3 显卡使用情况

二、单卡训练

2.1 修改配置文件

2.2 显卡使用情况

修改好后开始训练,查看显卡使用情况:

三、总结

以上就是多卡GPU训练与单卡GPU训练相互切换的操作过程,希望能帮到你,谢谢!

相关推荐
Virgil13912 分钟前
【TrOCR】训练代码
人工智能·深度学习·ocr
锅挤17 分钟前
深度学习3(向量化编程+ python中实现逻辑回归)
人工智能·深度学习
Deng9452013142 小时前
基于Python的职位画像系统设计与实现
开发语言·python·文本分析·自然语言处理nlp·scrapy框架·gensim应用
MARS_AI_4 小时前
云蝠智能 Voice Agent 落地展会邀约场景:重构会展行业的智能交互范式
人工智能·自然语言处理·重构·交互·语音识别·信息与通信
weixin_422456445 小时前
第N7周:调用Gensim库训练Word2Vec模型
人工智能·机器学习·word2vec
FreakStudio6 小时前
一文速通 Python 并行计算:13 Python 异步编程-基本概念与事件循环和回调机制
python·pycharm·协程·多进程·并行计算·异步编程
HuggingFace8 小时前
Hugging Face 开源机器人 Reachy Mini 开启预定
人工智能
豌豆花下猫8 小时前
让 Python 代码飙升330倍:从入门到精通的四种性能优化实践
后端·python·ai
夏末蝉未鸣018 小时前
python transformers库笔记(BertForTokenClassification类)
python·自然语言处理·transformer
企企通采购云平台9 小时前
「天元宠物」×企企通,加速数智化升级,“链”接萌宠消费新蓝海
大数据·人工智能·宠物