技术栈
4
伊织code
17 小时前
pytorch
·
python
·
ai
·
api
·
-
·
4
·
分布式通信、分布式张量
PyTorch API 4 - 分布式通信、分布式张量
注意：关于分布式训练相关功能的简要介绍，请参阅PyTorch分布式概述。torch.distributed 支持三种内置后端，每种后端具有不同的功能特性。下表展示了哪些功能可用于 CPU/CUDA 张量。 注意：MPI 仅在用于构建 PyTorch 的实现支持 CUDA 时，才能启用 CUDA 功能。