PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FasterTransformer/FastLLM/vLLM/TurboTransformers等)、案例应用之详细攻略
导读
：不同训练框架实现参数高效微调算法的效率会存在很大差异：比如使用Huggingface Transformers、DeepSpeed和Alpa训练名为"OPT-30"的模型。相对于使用Alpa框架，使用Huggingface
Transformers
和
DeepSpeed
框架来训练OPT-30模型会
带来更低的资源消耗
。
目录