技术栈

dataparallel

Dark universe
2 年前
pytorch·深度学习·dataparallel·模型加载
PyTorch多GPU训练模型——使用单GPU或CPU进行推理的方法PyTorch提供了非常便捷的多GPU网络训练方法:DataParallel和DistributedDataParallel。在涉及到一些复杂模型时,基本都是采用多个GPU并行训练并保存模型。但在推理阶段往往只采用单个GPU或者CPU运行。这时怎么将多GPU环境下保存的模型权重加载到单GPU/CPU运行环境下的模型上成了一个关键的问题。