nlp面试

青松@FasterAI

【NLP高频面题 - 分布式训练篇】ZeRO主要为了解决什么问题？【NLP高频面题 - 分布式训练篇】ZeRO主要为了解决什么问题？重要性：★★零冗余优化器技术由 DeepSpeed 代码库提出，主要用于解决数据并行中的模型冗余问题，即每张 GPU 均需要复制一份模型参数。

青松@FasterAI

【NLP高频面题 - LLM训练篇】为什么要对LLM做有监督微调（SFT）？有监督微调（Supervised Finetuning, SFT）又称指令微调（Instruction Tuning），是指在已经训练好的语言模型的基础上，通过使用有标注的特定任务数据进行进一步的微调，从而使得模型具备遵循指令的能力。