技术栈
5
伊织code
10 小时前
pytorch
·
python
·
ai
·
api
·
-
·
5
PyTorch API 5 - 全分片数据并行、流水线并行、概率分布
一个用于在数据并行工作节点间分片模块参数的包装器。该设计灵感来源于Xu等人的论文以及DeepSpeed的ZeRO第三阶段技术。