分布式通信、分布式张量 - 分布式通信、分布式张量技术,学习,经验文章

伊织code

17 小时前

PyTorch API 4 - 分布式通信、分布式张量注意：关于分布式训练相关功能的简要介绍，请参阅PyTorch分布式概述。torch.distributed 支持三种内置后端，每种后端具有不同的功能特性。下表展示了哪些功能可用于 CPU/CUDA 张量。注意：MPI 仅在用于构建 PyTorch 的实现支持 CUDA 时，才能启用 CUDA 功能。