大语言模型对齐与微调:原理解析与工程实践当前大语言模型(LLM)的训练范式已形成一套相对成熟的四阶段流水线:预训练(Pre-Training, PT)、指令微调(Supervised Fine-Tuning, SFT)、偏好对齐(Preference Alignment)以及能力精化(Capability Refinement)。其中,PT阶段通过海量无标注文本学习语言统计规律与世界知识,是模型能力的基石;SFT阶段通过人工构建的指令-回答对赋予模型对话格式与指令跟随能力,是构建对话模型的关键环节;偏好对齐阶段旨在使模型输出符合人类价值观与偏好