【NLP高频面题 - LLM训练篇】为什么要对LLM做有监督微调（SFT）？

有监督微调（Supervised Finetuning, SFT）又称指令微调（Instruction Tuning），是指在已经训练好的语言模型的基础上，通过使用有标注的特定任务数据进行进一步的微调，从而使得模型具备遵循指令的能力。

经过指令微调后，大语言模型能够展现出较强的指令遵循能力，可以通过零样本学习的方式解决多种下游任务。

SFT阶段会重点关心的内容：

• 指令数据如何构造
• 如何高效低成本地进行指令微调训练
• 如何在语言模型基础上进一步扩大上下文

---

NLP 大模型高频面题汇总

NLP基础篇

【NLP 面试宝典 之 模型分类】 必须要会的高频面题

【NLP 面试宝典 之 神经网络】 必须要会的高频面题

【NLP 面试宝典 之 主动学习】 必须要会的高频面题

【NLP 面试宝典 之 超参数优化】 必须要会的高频面题

【NLP 面试宝典 之 正则化】 必须要会的高频面题

【NLP 面试宝典 之 过拟合】 必须要会的高频面题

【NLP 面试宝典 之 Dropout】 必须要会的高频面题

【NLP 面试宝典 之 EarlyStopping】 必须要会的高频面题

【NLP 面试宝典 之 标签平滑】 必须要会的高频面题

【NLP 面试宝典 之 Warm up 】 必须要会的高频面题

【NLP 面试宝典 之 置信学习】 必须要会的高频面题

【NLP 面试宝典 之 伪标签】 必须要会的高频面题

【NLP 面试宝典 之 类别不均衡问题】 必须要会的高频面题

【NLP 面试宝典 之 交叉验证】 必须要会的高频面题

【NLP 面试宝典 之 词嵌入】 必须要会的高频面题

【NLP 面试宝典 之 One-Hot】 必须要会的高频面题

...

BERT 模型面

【NLP 面试宝典 之 BERT模型】 必须要会的高频面题

【NLP 面试宝典 之 BERT变体】 必须要会的高频面题

【NLP 面试宝典 之 BERT应用】 必须要会的高频面题

...

LLMs 微调面

【NLP 面试宝典 之 LoRA微调】 必须要会的高频面题

【NLP 面试宝典 之 Prompt】 必须要会的高频面题

【NLP 面试宝典 之 提示学习微调】 必须要会的高频面题

【NLP 面试宝典 之 PEFT微调】 必须要会的高频面题

【NLP 面试宝典 之 Chain-of-Thought微调】 必须要会的高频面题

...