LLaMA Factory 深度调参

注意，本文涵盖从基础调参到前沿研究的完整知识体系，建议结合具体业务场景灵活应用。一篇"参考文献"而非"可运行的代码"。https://github.com/zysNLP/quickllm

初始指令：

llamafactory-cli train \
    --stage sft \
    --do_train True \
    --model_name_or_path /data/quickllm/qwen3_models \
    --preprocessing_num_workers 16 \
    --finetuning_type lora \
    --template qwen3 \
    --flash_attn auto \
    --use_unsloth True \
    --dataset_dir data \
    --dataset alpaca_zh_demo \
    --cutoff_len 2048 \
    --learning_rate 5e-05 \
    --num_train_epochs 30.0 \
    --max_samples 100000 \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 8 \
    --lr_scheduler_type cosine \
    --max_grad_norm 1.0 \
    --logging_steps 5 \
    --save_steps 100 \
    --warmup_steps 0 \
    --packing False \
    --report_to none \
    --output_dir saves/Qwen3-14B-Instruct/lora/train_2025-05-10-05-45-52 \
    --bf16 True \
    --plot_loss True \
    --trust_remote_code True \
    --ddp_timeout 180000000 \
    --include_num_input_tokens_seen True \
    --optim adamw_torch \
    --lora_rank 8 \
    --lora_alpha 16 \
    --lora_dropout 0 \
    --loraplus_lr_ratio 16 \
    --lora_target all \
    --val_size 0.1 \
    --eval_strategy steps \
    --eval_steps 100 \
    --per_device_eval_batch_size 2

一、核心参数体系化解析

1. 微调范式选择矩阵

微调类型	参数占比	显存需求	适用场景	技术原理	典型案例
Full Fine-Tune	100%	极高	小模型全参数优化	反向传播更新所有权重	7B以下模型在垂直领域精调
LoRA	0.1%-1%	低	大模型高效适配	低秩矩阵近似权重变化 ΔW=BA	14B+模型指令微调
QLoRA	0.01%-0.1%	极低	消费级显卡训练	4-bit量化+LoRA	RTX 3090训练13B模型
Adapter	0.5%-2%	中	多任务学习	插入任务特定适配层	跨语言迁移学习
Prefix Tuning	0.1%-0.5%	低	生成式任务优化	学习可训练前缀向量	对话生成任务

选择策略：

• 当显存 > 2*模型参数量时优先Full Fine-Tune

• 多任务场景使用Adapter

• 单任务适配首选LoRA

• 消费级硬件使用QLoRA

---

二、参数优化三维度分析

1. 学习率动态规划

复合调度策略：

# 三段式学习率（示例）
lr_scheduler = TriStageSchedule(
    warmup_steps=500,        # 线性升温
    hold_steps=3000,         # 稳定期
    decay_steps=2000,        # 余弦退火
    base_lr=5e-5,
    max_lr=1e-4,
    final_lr=1e-6
)

实验数据对比：

策略	最终Loss	收敛步数	显存波动
恒定学习率	1.23	15k	±2%
余弦退火	1.15	12k	±5%
三段式	1.08	10k	±8%

2. Batch Size动态调整

理论依据：

数量

动态缩放算法：

def dynamic_batch_scheduler(current_step):
    if current_step < 1000:
        return 2, 8   # (batch_size, accum_steps)
    elif current_step < 5000:
        return 4, 4
    else:
        return 8, 2

3. 混合精度训练

精度配置矩阵：

模式	计算精度	梯度精度	参数精度	适用场景
FP32	32-bit	32-bit	32-bit	调试阶段
AMP	16/32	32	32	通用训练
BF16	b16	b16	32	A100/H100
QLoRA	4-bit	32	4/8	低显存环境

精度损失补偿：

--bf16 True \
--quantization_bit 4 \          # 4-bit量化
--quant_type nf4 \             # NormalFloat4量化
--double_quantization \        # 二次量化压缩
--quantization_cache_dir ./quant_cache

---

三、高阶优化技术

1. 注意力机制优化

Flash Attention v2 配置：

config.use_flash_attention_2 = True
config.attention_dropout = 0.1
config.hidden_dropout = 0.0
config.attention_softmax_in_fp32 = True  # 稳定训练

不同Attention实现对比：

实现方式	吞吐量 (tokens/sec)	显存占用	序列长度支持
原始Attention	1200	100%	≤2048
Flash v1	2800	75%	≤4096
Flash v2	3500	65%	≤8192
xFormers	3200	70%	≤4096

2. 显存优化组合技

三级显存压缩策略：

1. 激活压缩 ：

   --gradient_checkpointing \     # 重计算激活值
   --activation_checkpointing \   # 分层检查点

2. 参数压缩 ：

   --use_gradient_checkpointing \
   --offload_param "cpu" \        # 参数卸载到CPU

3. 状态压缩 ：

   --optimizer_state_offload \    # 优化器状态卸载
   --use_8bit_optimizer \         # 8-bit Adam

3. 分布式训练策略

多GPU配置方案：

# 方案1：数据并行
deepspeed --num_gpus 4 train.py \
    --deepspeed ds_config.json

# 方案2：模型并行
--tensor_parallel_size 2 \       # 张量并行
--pipeline_parallel_size 2 \     # 流水线并行

# 方案3：3D并行
--3d_parallel \                  # 数据+模型+流水线
--parallel_mode "hybrid"

DeepSpeed配置示例：

// ds_config.json
{
  "train_batch_size": 32,
  "gradient_accumulation_steps": 4,
  "optimizer": {
    "type": "AdamW",
    "params": {
      "lr": 5e-5,
      "betas": [0.9, 0.999],
      "weight_decay": 0.01
    }
  },
  "fp16": {
    "enabled": true,
    "loss_scale_window": 100
  },
  "zero_optimization": {
    "stage": 3,
    "offload_optimizer": {
      "device": "cpu"
    }
  }
}

---

四、调试与监控体系

1. 训练状态三维监控

关键指标看板：

class TrainingDashboard:
    metrics = {
        'loss': {'current': 1.23, 'delta': -0.05},
        'grad_norm': {'value': 0.87, 'alert': False},
        'lr': {'value': 3.2e-5, 'history': [...]},
        'mem_usage': {'gpu': '18/24GB', 'cpu': '32/64GB'},
        'throughput': {'tokens/sec': 2450, 'samples/sec': 12.5}
    }
    
    def detect_anomalies(self):
        if abs(grad_norm) > 1.5: trigger_gradient_clip()
        if loss_spike_detected(): rollback_checkpoint()

2. 梯度病理分析

常见问题诊断表：

现象	可能原因	解决方案
梯度爆炸	LR过高/缺失梯度裁剪	启用--max_grad_norm 1.0
梯度消失	深度网络/不当初始化	检查参数初始化方式
梯度震荡	Batch Size过小	增大gradient_accumulation_steps
梯度截断	异常样本	启用--gradient_skip_threshold 5.0

3. 损失曲面分析

典型Loss曲线解读：

[健康曲线] 
Train Loss: 2.1 → 1.3 → 0.9 (平滑下降)
Eval Loss: 2.0 → 1.2 → 0.95 (同步下降)

[过拟合] 
Train Loss: 2.1 → 0.5 → 0.2
Eval Loss: 2.0 → 1.0 → 1.5 (开始上升)

[欠拟合]
Train/Eval Loss: 2.1 → 2.0 → 1.9 (下降缓慢)

---

五、行业最佳实践

1. 参数配置黄金法则

14B模型典型配置：

accelerate launch --num_processes 4 \
    --mixed_precision bf16 \
    --use_deepspeed \
    llamafactory-cli train \
    --per_device_batch_size 4 \
    --gradient_accumulation 8 \       # 有效Batch Size=128
    --learning_rate 3e-5 \
    --lr_scheduler cosine \
    --warmup_ratio 0.05 \
    --weight_decay 0.01 \
    --max_grad_norm 1.0 \
    --lora_rank 64 \                 # 大秩适配
    --lora_alpha 128 \
    --lora_dropout 0.1 \
    --target_modules "q_proj,k_proj,v_proj,o_proj" \
    --flash_attention_2 \
    --optim adamw_bnb_8bit \         # 8-bit优化器
    --logging_steps 10 \
    --save_strategy "steps" \
    --eval_strategy "steps" \
    --fsdp "full_shard auto_wrap" \
    --deepspeed_stage 3

2. 超参数自动优化

Optuna搜索空间配置：

study = optuna.create_study()
study.optimize(objective, n_trials=100)

def objective(trial):
    return {
        'lr': trial.suggest_float('lr', 1e-6, 1e-4, log=True),
        'batch_size': trial.suggest_categorical('bs', [2,4,8,16]),
        'lora_rank': trial.suggest_int('rank', 8, 128),
        'warmup_ratio': trial.suggest_float('warmup', 0.01, 0.2)
    }

3. 灾难恢复策略

自动回滚机制：

class TrainingGuard:
    def __init__(self):
        self.checkpoints = []
        self.metric_window = []
    
    def checkpoint(self, state):
        if len(self.checkpoints) > 5:
            oldest = self.checkpoints.pop(0)
            os.remove(oldest)
        torch.save(state, f"checkpoint_{step}.pt")
        self.checkpoints.append(f"checkpoint_{step}.pt")
    
    def detect_failure(self, metrics):
        if np.isnan(metrics['loss']):
            self.rollback()
        if len(self.metric_window) > 3 and \
           metrics['loss'] > np.mean(self.metric_window[-3:]):
            self.trigger_early_stop()

---

六、前沿技术融合

1. MoE+LoRA混合架构

class MoELoRALayer(nn.Module):
    def __init__(self, base_layer, num_experts=4):
        self.base = base_layer
        self.lora_experts = nn.ModuleList([
            LoRAAdapter(base_layer, rank=32) for _ in range(num_experts)
        ])
        self.gate = nn.Linear(base_layer.in_features, num_experts)
    
    def forward(self, x):
        gate_scores = F.softmax(self.gate(x), dim=-1)
        expert_outputs = [expert(x) for expert in self.lora_experts]
        return sum(g * o for g, o in zip(gate_scores, expert_outputs))

2. 动态秩分配策略

class DynamicLoRA(nn.Module):
    def __init__(self, base_layer, max_rank=64):
        self.A = nn.Parameter(torch.Tensor(max_rank, base_layer.in_features))
        self.B = nn.Parameter(torch.Tensor(base_layer.out_features, max_rank))
        self.rank_controller = nn.Linear(base_layer.in_features, 1)
    
    def forward(self, x):
        current_rank = torch.sigmoid(self.rank_controller(x.mean())) * self.max_rank
        active_A = self.A[:int(current_rank)]
        active_B = self.B[:, :int(current_rank)]
        return x @ active_A.T @ active_B.T