【LLM微调】拒绝“假装聪明”:SFTTrainer 中 completion_only_loss 新旧版本用法详解

在指令微调(SFT)大模型时,你是否遇到过:训练 Loss 迅速降到 0.0x,准确率飙升到 99%,但模型实际推理效果却很差?

这通常是因为模型在"作弊"------它背下了固定的 System Prompt 和 User Instruction,而不是在学习如何回答问题。本文介绍如何使用 completion_only_loss 强制模型只学习"回答"部分,并重点对比 trl 库在 0.20.0 版本 前后的巨大用法差异。


1. 为什么要用 completion_only_loss?

默认情况下,Hugging Face 的 SFTTrainer 对输入的所有文本计算 Loss。

  • 如果不加限制:

    • 计算范围 :[System Prompt] + [User Instruction] + [Assistant Answer] 全选。
    • 后果:如果 Prompt 很长且固定,模型会优先背诵这段长文本,导致 Loss 虚低,掩盖了模型在 Answer 部分的无能。
  • 加上 completion_only_loss:

    • 计算范围 :仅计算 [Assistant Answer] 部分。
    • 效果:模型必须全力以赴学习生成逻辑,训练更加有效、真实。

2. 核心区别:0.20.0 版本的分界线

trl 库从 0.20.0 开始,极大地简化了这一流程。

特性 旧版 (trl < 0.20.0) 新版 (trl >= 0.20.0) 🚀
实现方式 手动导入 DataCollator 类 直接配置 SFTConfig 参数
数据格式 返回拼接好的长字符串 拆分为 prompt 和 completion 字段
处理时机 传 formatting_func 给 Trainer 训练前用 dataset.map 预处理
复杂度 高(需手动指定分隔符) 低(自动识别,不易出错)

3. 旧版写法 (trl < 0.20.0)

特点 :需要手动引入 DataCollatorForCompletionOnlyLM 并指定分隔符。在新版本中,该类的 import 路径经常变动,容易报错。

python 复制代码
from trl import SFTTrainer, DataCollatorForCompletionOnlyLM

# 1. 定义分隔符
response_template = "<|im_start|>assistant\n"
# 2. 初始化 Collator
collator = DataCollatorForCompletionOnlyLM(response_template=response_template, tokenizer=tokenizer)
# 3. 传给 Trainer
trainer = SFTTrainer(..., formatting_func=my_text_func, data_collator=collator)

4. 新版写法 (trl >= 0.20.0) ------ 推荐!

特点:配置化,逻辑清晰。

第一步:修改数据处理函数

不再返回单一字符串,而是返回字典,区分 prompt (题目) 和 completion (答案)。

python 复制代码
def format_prompts(examples):
    output_dicts = {"prompt": [], "completion": []}
    for i in range(len(examples['instruction'])):
        # 1. 构建 Prompt (System + User)
        # 技巧:add_generation_prompt=True 会自动加上 assistant 的开头 tag
        prompt_text = tokenizer.apply_chat_template(messages[:-1], tokenize=False, add_generation_prompt=True)
        # 2. 构建 Completion (Assistant 回答 + EOS)
        completion_text = output_json_str + tokenizer.eos_token
        
        output_dicts["prompt"].append(prompt_text)
        output_dicts["completion"].append(completion_text)
    return output_dicts

第二步:提前处理 Dataset

注意:不要把函数传给 Trainer,要在外面先 map 好!

python 复制代码
# 必须移除旧列,否则 Trainer 会报错
dataset = dataset.map(format_prompts, batched=True, remove_columns=dataset.column_names)

第三步:配置 SFTConfig

直接开启开关,并关闭冲突参数。

python 复制代码
from trl import SFTConfig, SFTTrainer

args = SFTConfig(
    output_dir="./output",
    # === 核心配置 ===
    completion_only_loss=True,  # ✅ 开启只计算回答 Loss
    packing=False,              # ❌ 必须关闭!packing 与此模式互斥
    # ================
)

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,      # 传入处理好的 dataset
    # formatting_func=...       # ❌ 千万别传这个,前面已经 map 过了
    args=args
)

5. 避坑指南

  1. 互斥参数 :completion_only_loss=True 时,必须设置 packing=False。
  2. 报错 ValueError :如果你在新版中同时开启了 completion_only_loss 又传入了 formatting_func,会直接报错。请务必使用 dataset.map 提前处理。
  3. 指标变化 :开启后,Loss 变高、Accuracy 变低是正常的。这代表模型开始啃"硬骨头"了,而不是在"背书"。
相关推荐
用户951794225102914 小时前
Agent Harness 工程(I5):权限与沙箱——让否决改变控制流
llm·agent
泯泷1 天前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
泯泷1 天前
当"孤独的开发者"成为常态,AI正在悄悄杀死那个我们熟悉的互联网
人工智能·chatgpt·llm
泯泷1 天前
给你一个免费的20人 AI 团队,你的胜算真的变大了吗?
人工智能·llm
xyphf_和派孔明2 天前
第十章: Agent Skill的调用机制解读
langchain·llm·agent
真上帝的左手2 天前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
XLYcmy3 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 上
llm·prompt·模糊测试·漏洞修复·漏洞检测·deepseek·消融实验
泯泷3 天前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
XLYcmy3 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
M--Y4 天前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph