大语言模型对齐与微调：原理解析与工程实践

摘要

当前大语言模型（LLM）的训练范式已形成一套相对成熟的四阶段流水线：预训练（Pre-Training, PT）、指令微调（Supervised Fine-Tuning, SFT）、偏好对齐（Preference Alignment）以及能力精化（Capability Refinement）。其中，PT阶段通过海量无标注文本学习语言统计规律与世界知识，是模型能力的基石；SFT阶段通过人工构建的指令-回答对赋予模型对话格式与指令跟随能力，是构建对话模型的关键环节；偏好对齐阶段旨在使模型输出符合人类价值观与偏好，主流方法包括DPO与PPO（RLHF）；能力精化阶段则针对推理等特定能力进行强化学习优化。

本文系统梳理上述四阶段的技术原理与工程实现要点，重点分析DPO与PPO在数学推导、资源消耗与训练稳定性方面的差异，并深入探讨PAFT（Parallel Fine-Tuning）并行微调范式。PAFT通过在同一基座模型上并行训练SFT与DPO，避免了串行流水线中DPO可能覆盖SFT格式能力的缺陷，结合参数融合技术（如TIES、DARE TIES）实现模型合并，在HuggingFace Open LLM Leaderboard上取得了优异表现。本文亦客观讨论了各方法的局限性与适用场景，为工程实践中的方案选型提供参考。

技术原理与核心方法

四阶段训练流水线

大语言模型的完整训练流程可概括为以下四个阶段：

第一阶段：预训练（PT）。在万亿级token的无标注文本上，通过next-token prediction目标函数学习语言的统计规律与世界知识。该阶段产出基座模型（Base Model），计算成本最高，通常需要数千张GPU持续运行数月。

第二阶段：指令微调（SFT）。使用数千至数万条人工编写的指令-回答对对基座模型进行监督微调，使其学会对话格式与指令跟随能力。SFT是所有对话模型的必经之路，通常训练1--2个epoch以防止过拟合。

第三阶段：偏好对齐（Preference Alignment）。使模型回答符合人类偏好，包含三种可选路径：DPO、PPO（RLHF）或跳过。

第四阶段：能力精化（Capability Refinement）。针对推理等特定能力进行强化学习训练，作为流水线的可选优化步骤。

DPO的数学推导与实现

DPO（Direct Preference Optimization）从最大熵逆强化学习框架出发，推导出奖励函数可表示为策略与参考策略的对数比：

r(x,y)=β⋅log⁡π(y∣x)πref(y∣x)+β⋅log⁡Z(x)r(x,y) = \beta \cdot \log \frac{\pi(y|x)}{\pi_{ref}(y|x)} + \beta \cdot \log Z(x)r(x,y)=β⋅logπref(y∣x)π(y∣x)+β⋅logZ(x)

代入Bradley-Terry偏好模型后，配分函数Z(x)被抵消，得到DPO的损失函数：

LDPO=−E $logσ(β\cdotlogπθ(yw∣x)πref(yw∣x)-β\cdotlogπθ(yl∣x)πref(yl∣x))$ \mathcal{L}_{DPO} = -\mathbb{E}\left $\\log\\sigma\\left(\\beta \\cdot \\log\\frac{\\pi_\\theta(y_w\|x)}{\\pi_{ref}(y_w\|x)} - \\beta \\cdot \\log\\frac{\\pi_\\theta(y_l\|x)}{\\pi_{ref}(y_l\|x)}\\right)\\right$ LDPO=−E $logσ(β\cdotlogπref(yw∣x)πθ(yw∣x)-β\cdotlogπref(yl∣x)πθ(yl∣x))$

其中 ywy_wyw 为偏好数据中的胜出回答，yly_lyl 为落败回答，β\betaβ 为温度参数，πref\pi_{ref}πref 为参考策略（通常为SFT模型）。

DPO的核心实现逻辑如下：

python 复制代码

# DPO损失函数核心实现
def dpo_loss(policy_model, ref_model, batch, beta=0.1):
    '''
    计算DPO损失
    Args:
        policy_model: 当前策略模型 (pi_theta)
        ref_model: 参考模型 (pi_ref), 通常冻结梯度
        batch: 包含 prompt, chosen, rejected 的偏好数据
        beta: 温度参数，控制偏离参考策略的程度
    '''
    # 分别计算策略模型和参考模型在 chosen/rejected 上的对数概率
    log_pi_chosen = policy_model.log_prob(batch.prompt, batch.chosen)
    log_pi_rejected = policy_model.log_prob(batch.prompt, batch.rejected)
    
    with torch.no_grad():
        log_ref_chosen = ref_model.log_prob(batch.prompt, batch.chosen)
        log_ref_rejected = ref_model.log_prob(batch.prompt, batch.rejected)
    
    # 计算策略与参考策略的对数比
    log_ratio_chosen = log_pi_chosen - log_ref_chosen
    log_ratio_rejected = log_pi_rejected - log_ref_rejected
    
    # DPO损失: -log(sigma(beta * (log_ratio_chosen - log_ratio_rejected)))
    logits = beta * (log_ratio_chosen - log_ratio_rejected)
    loss = -torch.nn.functional.logsigmoid(logits).mean()
    
    return loss

PPO/RLHF的四模型架构

PPO（Proximal Policy Optimization）作为RLHF的核心算法，需要同时维护四个模型组件：actor（策略模型）、critic（价值模型）、reference（参考模型）和reward model（奖励模型）。相比DPO仅需策略模型与参考模型，PPO的工程复杂度显著更高。

PAFT并行微调范式

PAFT（Parallel Fine-Tuning）提出了一种替代传统串行pipeline的训练范式。其核心发现包括：

偏好对齐（如DPO）天然导致模型参数稀疏化；
SFT训练产生的是"自然稠密"模型，需要L1正则化进行稀疏化处理才能有效合并；
使用TIES或DARE TIES等参数融合方法进行模型合并，可解决符号冲突问题。

PAFT的关键在于将SFT与DPO在同一基座模型上并行训练，两者各自独立、互不干扰，训练完成后通过参数融合合并。这避免了串行训练中DPO可能覆盖SFT学到的格式能力的问题。

python 复制代码

# PAFT并行训练与模型合并伪代码
class PAFTTrainer:
    def __init__(self, base_model, sft_data, preference_data):
        self.base_model = base_model
        # 并行启动SFT和DPO训练
        self.sft_model = self._train_sft(base_model, sft_data)
        self.dpo_model = self._train_dpo(base_model, preference_data)
    
    def _train_sft(self, model, data):
        # SFT训练，添加L1正则化促进稀疏化
        # 标准SFT损失 + L1正则化
        # loss = ce_loss + lambda * l1_norm(params)
        pass
    
    def _train_dpo(self, model, data):
        # DPO训练，天然产生稀疏化
        pass
    
    def merge_models(self, method="dare_ties"):
        # 使用参数融合方法合并SFT与DPO模型
        # 支持: linear, slerp, task_arithmetic, ties, dare_ties
        if method == "dare_ties":
            # DARE TIES: TIES + 动态对齐正则化
            # 1. 计算各模型相对于base的增量参数
            # 2. 选择性保留重要权重，解决符号冲突
            # 3. 动态对齐正则化
            merged_params = dare_ties_merge(
                self.base_model, 
                self.sft_model, 
                self.dpo_model
            )
        return merged_params

对比分析

DPO与PPO横向对比

对比维度	DPO	PPO (RLHF)
模型组件数量	2个（policy + reference）	4个（actor + critic + reference + reward）
显存需求	较低	较高（需额外加载critic和reward model）
训练稳定性	较稳定	对超参数敏感，训练不稳定
超参数调优难度	较低（主要调β）	较高（涉及多个模型的超参数协调）
训练时间（7B模型）	1--2天	5--7天
数据效率	较高	相对较低
复杂任务效果潜力	良好	略强
是否需要独立奖励模型	否	是
工程实现复杂度	低	高

PAFT与传统串行Pipeline对比

对比维度	传统串行Pipeline (SFT → DPO)	PAFT并行范式
训练流程	先SFT后DPO，串行执行	SFT与DPO并行训练，最后合并
格式能力保留	DPO可能覆盖SFT学到的格式	SFT与DPO互不干扰，格式能力完整保留
模型合并需求	无需合并	需参数融合（TIES/DARE TIES等）
SFT稀疏化处理	不需要	需要L1正则化
训练效率	串行耗时累加	并行可缩短总训练时间
效果表现	基准水平	HuggingFace Open LLM Leaderboard Rank #1

工程实践要点

预训练阶段：PT阶段的计算成本最高，资源规划需提前数月。万亿级token训练通常需要几千张GPU持续运行，需充分考虑硬件故障恢复、checkpoint管理与数据质量清洗。

SFT阶段：SFT是构建对话模型最关键的一步，数据质量远比数量重要。几千到几万条高质量人工标注数据即可取得显著效果。训练轮数应控制在1--2个epoch，过多轮次易导致过拟合与多样性下降。

偏好对齐选型：

资源有限或追求快速迭代时，优先选择DPO。DPO无需独立奖励模型，训练流程简单，7B模型1--2天即可完成对齐。
追求极致效果且资源充足时，可考虑PPO。PPO在复杂任务上效果潜力略强，但需投入更多工程资源处理四模型协调与超参数调优。
若业务场景对偏好对齐需求不强，可直接跳过该阶段。

PAFT实践注意事项：

SFT训练时必须添加L1正则化，使SFT模型参数稀疏化，否则与DPO模型的稀疏模式不兼容，合并效果会显著下降。
模型合并方法的选择对最终效果影响较大。DARE TIES在当前实验中表现最优，但不同任务可能需要尝试多种合并策略。
并行训练时需注意SFT与DPO的学习率调度策略，避免一方收敛过快导致合并时权重失衡。

能力精化阶段：推理RL等能力精化步骤为可选优化，建议在SFT与偏好对齐完成后再进行。该阶段需要专门构建推理类训练数据，且强化学习的训练稳定性仍需关注。

局限性与客观评价

DPO的局限性：DPO的数学推导依赖于Bradley-Terry偏好模型的假设，当偏好数据存在噪声或标注不一致时，DPO的性能可能显著下降。此外，DPO在极端复杂任务上的效果上限可能低于PPO，因为其隐式奖励函数的表达能力受限于策略与参考策略的对数比形式。

PPO的工程挑战：PPO需要同时维护四个模型，显存占用高，训练过程中的reward hacking、KL散度失控等问题需要精细的超参数调节与监控。工程实现门槛较高，不适合资源有限或工程团队经验不足的场景。

PAFT的假设局限：PAFT的有效性建立在"SFT模型可通过L1正则化有效稀疏化"以及"DPO天然稀疏化"两个假设之上。当基座模型架构或训练数据分布发生较大变化时，这两个假设的成立程度可能发生变化，合并效果的不确定性增加。此外，参数融合方法（TIES、DARE TIES等）本身引入了额外的超参数（如保留比例、正则化系数），需要针对具体任务进行调优。

SFT过拟合风险：SFT阶段数据量通常远小于PT阶段，1--2个epoch的约束虽能缓解过拟合，但在小数据集上仍可能出现模型记忆特定指令模板而非真正理解指令意图的情况。评估SFT效果时需关注泛化能力而非仅看训练集指标。

偏好对齐的数据依赖：无论DPO还是PPO，对齐效果高度依赖偏好数据的质量与覆盖度。偏好数据的标注者偏差、领域覆盖不足等问题会直接传导至模型行为，且难以通过算法层面完全消除。

整体pipeline的累积误差：四阶段流水线中每个阶段的输出都是下一阶段的输入，前序阶段的缺陷会在后续阶段被放大。例如，PT阶段的知识缺失无法通过SFT弥补，SFT的格式问题可能在DPO阶段被进一步固化。各阶段的质量把控与评估体系至关重要。

参考与延伸阅读

Rafailov, R., et al. "Direct Preference Optimization: Your Language Model is Secretly a Reward Model." NeurIPS 2023.
Ouyang, L., et al. "Training language models to follow instructions with human feedback." NeurIPS 2022. (InstructGPT / RLHF)
Pentyala, S., et al. "PAFT: A Parallel Training Paradigm for Effective LLM Fine-Tuning." arXiv:2406.17923, June 2024.
Yadav, P., et al. "TIES-Merging: Resolving Interference When Merging Models." NeurIPS 2023.
Yu, L., et al. "Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch." ICML 2024. (DARE)
Schulman, J., et al. "Proximal Policy Optimization Algorithms." arXiv:1707.06347, 2017.
Touvron, H., et al. "Llama 2: Open Foundation and Fine-Tuned Chat Models." arXiv:2307.09288, 2023.