技术栈
专家并行
三点水-here
3 小时前
分布式
·
rdma
·
nccl
·
moe
·
流水线并行
·
张量并行
·
专家并行
04 - 分布式大模型推理实战：TP/PP/EP并行策略深度解析
本文是《大模型推理框架深度解析》系列的第四篇，详解张量并行、流水线并行与专家并行的原理与配置。当你的模型从7B扩展到70B、405B，单卡显存已经无法满足需求时，分布式推理成为必然选择。但面对TP、PP、EP等各种并行策略，很多开发者感到困惑：
我是有底线的