fdsp

Hugging Face Accelerate 两个后端的故事：FSDP 与 DeepSpeed社区中有两个流行的零冗余优化器（Zero Redundancy Optimizer，ZeRO）算法实现，一个来自 DeepSpeed，另一个来自 PyTorch。Hugging Face Accelerate 对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中之一。本文重点介绍了 Accelerate 对外暴露的这两个后端之间的差异。为了让用户能够在这两个后端之间无缝切换，我们在 Accelerate 中合并了一个精度相关的 PR 及一个新的概念指南。

使用 PyTorch FSDP 微调 Llama 2 70B通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accelerate 和 TRL 库。我们还将展示如何在 SLURM 中使用 Accelerate。