并行推理 - 并行推理技术,学习,经验文章

InfraTech

6 小时前

大模型推理并行策略(DP/TP/PP/SP/EP)原理简介本文作者：kaiyuan 大模型推理并行策略(DP/TP/PP/SP/EP)原理简介想深耕AI Infra领域？欢迎访问InfraTech库！内容涵盖大模型基础、PyTorch/vLLM/SGLang框架入门、性能加速等核心方向，配套50+知识干货及适合初学者的notebook练习:https://github.com/CalvinXKY/InfraTech