MiniMind 学习笔记(十三):SFT 导言——从“续写文本“到“回答用户“

喜欢打篮球的普通人2026-10-01 11:54

MiniMind 学习笔记(十三):SFT 导言------从"续写文本"到"回答用户"

SFT 是 Supervised Fine-Tuning(监督微调),通常接在 Pretrain 之后:用整理好的指令、问答或多轮对话数据,让一个主要学会"续写文本"的基座模型,进一步学会按照用户输入给出回答。有了 Pretrain 的基础,SFT 的训练形式会简单很多------它并没有发明一个全新的 loss,仍然是 next token prediction。真正变化的是训练数据的组织方式,以及哪些 token 会参与 loss。

文章目录

  • [MiniMind 学习笔记(十三):SFT 导言------从"续写文本"到"回答用户"](#MiniMind 学习笔记(十三):SFT 导言——从"续写文本"到"回答用户")
    • 前言:训练链路走到哪一步了
    • [一、SFT 要解决什么问题?](#一、SFT 要解决什么问题?)
      • [1.1 更一般的视角:分布迁移](#1.1 更一般的视角:分布迁移)
    • [二、SFT 的基本样本](#二、SFT 的基本样本)
    • [三、MiniMind 中的 SFT 入口](#三、MiniMind 中的 SFT 入口)
    • 四、本章结构
    • 总结
    • 参考

前言:训练链路走到哪一步了

在前面的 Pretrain 篇章(笔记 #8-#12)里,我们从 loss 推导、优化器一路讲到 8GB 显卡上的实操。现在模型已经是一个"语言规律学得不错、能流畅续写"的 base 模型,但它还不是一个"助手"。SFT 就是补上这一步:
#mermaid-svg-bChDRRg1ogL7lMi1{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-bChDRRg1ogL7lMi1 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-bChDRRg1ogL7lMi1 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-bChDRRg1ogL7lMi1 .error-icon{fill:#552222;}#mermaid-svg-bChDRRg1ogL7lMi1 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-bChDRRg1ogL7lMi1 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-bChDRRg1ogL7lMi1 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-bChDRRg1ogL7lMi1 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-bChDRRg1ogL7lMi1 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-bChDRRg1ogL7lMi1 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-bChDRRg1ogL7lMi1 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-bChDRRg1ogL7lMi1 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-bChDRRg1ogL7lMi1 .marker.cross{stroke:#333333;}#mermaid-svg-bChDRRg1ogL7lMi1 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-bChDRRg1ogL7lMi1 p{margin:0;}#mermaid-svg-bChDRRg1ogL7lMi1 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-bChDRRg1ogL7lMi1 .cluster-label text{fill:#333;}#mermaid-svg-bChDRRg1ogL7lMi1 .cluster-label span{color:#333;}#mermaid-svg-bChDRRg1ogL7lMi1 .cluster-label span p{background-color:transparent;}#mermaid-svg-bChDRRg1ogL7lMi1 .label text,#mermaid-svg-bChDRRg1ogL7lMi1 span{fill:#333;color:#333;}#mermaid-svg-bChDRRg1ogL7lMi1 .node rect,#mermaid-svg-bChDRRg1ogL7lMi1 .node circle,#mermaid-svg-bChDRRg1ogL7lMi1 .node ellipse,#mermaid-svg-bChDRRg1ogL7lMi1 .node polygon,#mermaid-svg-bChDRRg1ogL7lMi1 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-bChDRRg1ogL7lMi1 .rough-node .label text,#mermaid-svg-bChDRRg1ogL7lMi1 .node .label text,#mermaid-svg-bChDRRg1ogL7lMi1 .image-shape .label,#mermaid-svg-bChDRRg1ogL7lMi1 .icon-shape .label{text-anchor:middle;}#mermaid-svg-bChDRRg1ogL7lMi1 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-bChDRRg1ogL7lMi1 .rough-node .label,#mermaid-svg-bChDRRg1ogL7lMi1 .node .label,#mermaid-svg-bChDRRg1ogL7lMi1 .image-shape .label,#mermaid-svg-bChDRRg1ogL7lMi1 .icon-shape .label{text-align:center;}#mermaid-svg-bChDRRg1ogL7lMi1 .node.clickable{cursor:pointer;}#mermaid-svg-bChDRRg1ogL7lMi1 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-bChDRRg1ogL7lMi1 .arrowheadPath{fill:#333333;}#mermaid-svg-bChDRRg1ogL7lMi1 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-bChDRRg1ogL7lMi1 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-bChDRRg1ogL7lMi1 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-bChDRRg1ogL7lMi1 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-bChDRRg1ogL7lMi1 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-bChDRRg1ogL7lMi1 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-bChDRRg1ogL7lMi1 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-bChDRRg1ogL7lMi1 .cluster text{fill:#333;}#mermaid-svg-bChDRRg1ogL7lMi1 .cluster span{color:#333;}#mermaid-svg-bChDRRg1ogL7lMi1 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-bChDRRg1ogL7lMi1 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-bChDRRg1ogL7lMi1 rect.text{fill:none;stroke-width:0;}#mermaid-svg-bChDRRg1ogL7lMi1 .icon-shape,#mermaid-svg-bChDRRg1ogL7lMi1 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-bChDRRg1ogL7lMi1 .icon-shape p,#mermaid-svg-bChDRRg1ogL7lMi1 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-bChDRRg1ogL7lMi1 .icon-shape .label rect,#mermaid-svg-bChDRRg1ogL7lMi1 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-bChDRRg1ogL7lMi1 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-bChDRRg1ogL7lMi1 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-bChDRRg1ogL7lMi1 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} Pretrain

全 token 参与loss
SFT

指令/问答/多轮对话

只监督回答部分
后续: DPO/RLHF
大规模无标注文本
Base 模型

会续写、有知识

但不懂'被提问'
对话模型

按对话模板回答

学工具调用格式
偏好对齐模型

一、SFT 要解决什么问题?

Pretrain 阶段的模型主要学习语言规律、事实知识和上下文统计关系。它看到的是大规模普通文本,训练目标是把每个位置的下一个 token 预测对。

但一个完成 Pretrain 的模型并不天然知道"用户问一句,我应该以助手身份回答一句"。如果输入是:

text 复制代码 
什么是 SFT?

预训练模型可能会继续补全文档、百科、论坛帖子,也可能输出另一个问题------它的目标只是"像训练文本一样续写",而不是"作为助手完成用户请求"。这正是笔记 #12 末尾初步 Eval 里看到的:问"你有什么特长",pretrain 模型会接"我正在想如何开始一个新项目",而不是回答问题。

SFT 的作用,就是把训练分布改成更接近真实交互的形式:

text 复制代码 
用户提出问题 -> 助手给出回答

经过这样的训练后,模型仍然在做 next token prediction,但它预测的对象变成了"在当前对话模板下,assistant 接下来应该说什么"。

1.1 更一般的视角:分布迁移

对话式案例只是 SFT 的一种形式。由于训练目标没有变化,如果从似然损失函数的角度理解,SFT 更像是在把模型的输出分布推向某个特定的数据分布。

这个过程通常体现在风格迁移和输出结构上:

SFT 数据包含 模型学到什么
对话数据 一问一答的结构
数学/推理任务 "按步骤输出"的模式
代码任务 代码块的组织方式
Tool Call 样本 工具调用的格式约定

这就是常说的行为对齐 和分布迁移。沿着这个角度,更容易理解 SFT 在整个训练链路中的位置:Pretrain 决定"模型知道什么",SFT 决定"模型以什么方式表达和使用这些知识"。
#mermaid-svg-1h5SCLZOXfpE9Qgb{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-1h5SCLZOXfpE9Qgb .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-1h5SCLZOXfpE9Qgb .error-icon{fill:#552222;}#mermaid-svg-1h5SCLZOXfpE9Qgb .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-1h5SCLZOXfpE9Qgb .marker{fill:#333333;stroke:#333333;}#mermaid-svg-1h5SCLZOXfpE9Qgb .marker.cross{stroke:#333333;}#mermaid-svg-1h5SCLZOXfpE9Qgb svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-1h5SCLZOXfpE9Qgb p{margin:0;}#mermaid-svg-1h5SCLZOXfpE9Qgb .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-1h5SCLZOXfpE9Qgb .cluster-label text{fill:#333;}#mermaid-svg-1h5SCLZOXfpE9Qgb .cluster-label span{color:#333;}#mermaid-svg-1h5SCLZOXfpE9Qgb .cluster-label span p{background-color:transparent;}#mermaid-svg-1h5SCLZOXfpE9Qgb .label text,#mermaid-svg-1h5SCLZOXfpE9Qgb span{fill:#333;color:#333;}#mermaid-svg-1h5SCLZOXfpE9Qgb .node rect,#mermaid-svg-1h5SCLZOXfpE9Qgb .node circle,#mermaid-svg-1h5SCLZOXfpE9Qgb .node ellipse,#mermaid-svg-1h5SCLZOXfpE9Qgb .node polygon,#mermaid-svg-1h5SCLZOXfpE9Qgb .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-1h5SCLZOXfpE9Qgb .rough-node .label text,#mermaid-svg-1h5SCLZOXfpE9Qgb .node .label text,#mermaid-svg-1h5SCLZOXfpE9Qgb .image-shape .label,#mermaid-svg-1h5SCLZOXfpE9Qgb .icon-shape .label{text-anchor:middle;}#mermaid-svg-1h5SCLZOXfpE9Qgb .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-1h5SCLZOXfpE9Qgb .rough-node .label,#mermaid-svg-1h5SCLZOXfpE9Qgb .node .label,#mermaid-svg-1h5SCLZOXfpE9Qgb .image-shape .label,#mermaid-svg-1h5SCLZOXfpE9Qgb .icon-shape .label{text-align:center;}#mermaid-svg-1h5SCLZOXfpE9Qgb .node.clickable{cursor:pointer;}#mermaid-svg-1h5SCLZOXfpE9Qgb .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-1h5SCLZOXfpE9Qgb .arrowheadPath{fill:#333333;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-1h5SCLZOXfpE9Qgb .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1h5SCLZOXfpE9Qgb .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-1h5SCLZOXfpE9Qgb .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1h5SCLZOXfpE9Qgb .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-1h5SCLZOXfpE9Qgb .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-1h5SCLZOXfpE9Qgb .cluster text{fill:#333;}#mermaid-svg-1h5SCLZOXfpE9Qgb .cluster span{color:#333;}#mermaid-svg-1h5SCLZOXfpE9Qgb div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-1h5SCLZOXfpE9Qgb .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-1h5SCLZOXfpE9Qgb rect.text{fill:none;stroke-width:0;}#mermaid-svg-1h5SCLZOXfpE9Qgb .icon-shape,#mermaid-svg-1h5SCLZOXfpE9Qgb .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-1h5SCLZOXfpE9Qgb .icon-shape p,#mermaid-svg-1h5SCLZOXfpE9Qgb .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-1h5SCLZOXfpE9Qgb .icon-shape .label rect,#mermaid-svg-1h5SCLZOXfpE9Qgb .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-1h5SCLZOXfpE9Qgb .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-1h5SCLZOXfpE9Qgb .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-1h5SCLZOXfpE9Qgb :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 同一个基座模型
SFT 对话数据

(问答/多轮)
SFT 结构化任务

(数学/代码/推理)
SFT Tool Call 数据
学出一问一答风格
学出按步骤输出模式
学出工具调用格式
本质: 输出分布向目标数据分布迁移

(训练目标本身没变)

二、SFT 的基本样本

参考 MiniMind,一个最小的 Chat SFT 样本可以抽象成两部分:

  • prompt:用户问题、系统提示、历史对话、工具说明等上下文;
  • response:希望模型学习生成的 assistant 回答。

把 prompt token 记为 x 1 , x 2 , ⋯   , x m x_1, x_2, \cdots, x_m x1,x2,⋯,xm,assistant 回答 token 记为 y 1 , y 2 , ⋯   , y n y_1, y_2, \cdots, y_n y1,y2,⋯,yn,完整输入序列:

s = x 1 , x 2 , ⋯   , x m , y 1 , y 2 , ⋯   , y n s = x_1, x_2, \\cdots, x_m, y_1, y_2, \\cdots, y_n s=x1,x2,⋯,xm,y1,y2,⋯,yn

SFT 通常只希望模型学习回答部分,因此 loss 写成:

L SFT = − ∑ t = 1 n log ⁡ p θ ( y t ∣ x 1 , ⋯   , x m , y 1 , ⋯   , y t − 1 ) \mathcal{L}{\text{SFT}} = - \sum{t=1}^{n} \log p_\theta(y_t \mid x_1,\cdots,x_m,y_1,\cdots,y_{t-1}) LSFT=−t=1∑nlogpθ(yt∣x1,⋯,xm,y1,⋯,yt−1)

这个公式表达的含义是:prompt 只是条件,真正被监督学习的是 assistant 的回答 token。
#mermaid-svg-Wk5qGec3RvSFpOo0{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-Wk5qGec3RvSFpOo0 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-Wk5qGec3RvSFpOo0 .error-icon{fill:#552222;}#mermaid-svg-Wk5qGec3RvSFpOo0 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-Wk5qGec3RvSFpOo0 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-Wk5qGec3RvSFpOo0 .marker.cross{stroke:#333333;}#mermaid-svg-Wk5qGec3RvSFpOo0 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-Wk5qGec3RvSFpOo0 p{margin:0;}#mermaid-svg-Wk5qGec3RvSFpOo0 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-Wk5qGec3RvSFpOo0 .cluster-label text{fill:#333;}#mermaid-svg-Wk5qGec3RvSFpOo0 .cluster-label span{color:#333;}#mermaid-svg-Wk5qGec3RvSFpOo0 .cluster-label span p{background-color:transparent;}#mermaid-svg-Wk5qGec3RvSFpOo0 .label text,#mermaid-svg-Wk5qGec3RvSFpOo0 span{fill:#333;color:#333;}#mermaid-svg-Wk5qGec3RvSFpOo0 .node rect,#mermaid-svg-Wk5qGec3RvSFpOo0 .node circle,#mermaid-svg-Wk5qGec3RvSFpOo0 .node ellipse,#mermaid-svg-Wk5qGec3RvSFpOo0 .node polygon,#mermaid-svg-Wk5qGec3RvSFpOo0 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-Wk5qGec3RvSFpOo0 .rough-node .label text,#mermaid-svg-Wk5qGec3RvSFpOo0 .node .label text,#mermaid-svg-Wk5qGec3RvSFpOo0 .image-shape .label,#mermaid-svg-Wk5qGec3RvSFpOo0 .icon-shape .label{text-anchor:middle;}#mermaid-svg-Wk5qGec3RvSFpOo0 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-Wk5qGec3RvSFpOo0 .rough-node .label,#mermaid-svg-Wk5qGec3RvSFpOo0 .node .label,#mermaid-svg-Wk5qGec3RvSFpOo0 .image-shape .label,#mermaid-svg-Wk5qGec3RvSFpOo0 .icon-shape .label{text-align:center;}#mermaid-svg-Wk5qGec3RvSFpOo0 .node.clickable{cursor:pointer;}#mermaid-svg-Wk5qGec3RvSFpOo0 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-Wk5qGec3RvSFpOo0 .arrowheadPath{fill:#333333;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-Wk5qGec3RvSFpOo0 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Wk5qGec3RvSFpOo0 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-Wk5qGec3RvSFpOo0 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Wk5qGec3RvSFpOo0 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-Wk5qGec3RvSFpOo0 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-Wk5qGec3RvSFpOo0 .cluster text{fill:#333;}#mermaid-svg-Wk5qGec3RvSFpOo0 .cluster span{color:#333;}#mermaid-svg-Wk5qGec3RvSFpOo0 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-Wk5qGec3RvSFpOo0 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-Wk5qGec3RvSFpOo0 rect.text{fill:none;stroke-width:0;}#mermaid-svg-Wk5qGec3RvSFpOo0 .icon-shape,#mermaid-svg-Wk5qGec3RvSFpOo0 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-Wk5qGec3RvSFpOo0 .icon-shape p,#mermaid-svg-Wk5qGec3RvSFpOo0 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-Wk5qGec3RvSFpOo0 .icon-shape .label rect,#mermaid-svg-Wk5qGec3RvSFpOo0 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-Wk5qGec3RvSFpOo0 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-Wk5qGec3RvSFpOo0 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-Wk5qGec3RvSFpOo0 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 完整输入序列
loss mask = 0

不参与损失
loss mask = 1

参与损失
prompt 部分

x₁ ... xₘ

(系统提示+用户问题+历史)
response 部分

y₁ ... yₙ

(assistant 回答)
SFT Loss

对比 Pretrain 的 loss(笔记 #8):

L pretrain = − ∑ t = 1 T log ⁡ p θ ( s t ∣ s < t ) \mathcal{L}{\text{pretrain}} = - \sum{t=1}^{T} \log p_\theta(s_t \mid s_{<t}) Lpretrain=−t=1∑Tlogpθ(st∣s<t)

区别一目了然:Pretrain 对序列中所有位置计算 loss,SFT 只对 response 位置计算 。具体实现中,通常在 prompt 部分的 token 上设置 loss mask(机制同笔记 #8 的 loss_mask/ignore_index=-100),让它们不参与损失计算。除此之外,SFT 的 loss 和 Pretrain 的语言模型 loss 是同一种东西。

三、MiniMind 中的 SFT 入口

当前主线 SFT 数据(与笔记 #12 的数据配置表呼应):

  • sft_t2t_mini.jsonl:适合快速训练对话模型;
  • sft_t2t.jsonl:适合完整复现主线版本。

README 还特别强调,当前版本的 SFT 数据统一使用多轮对话格式,并且 Tool Calling 能力已经混入主线 SFT 数据 。这意味着 SFT 不只是普通问答微调,还承担了让模型学习对话模板、思考标签和工具调用格式的职责。

MiniMind 中和本章关系最密切的文件:

文件 职责
minimind_upstream/minimind/README.md SFT 数据来源、格式和训练入口
src/minimind_learning/dataset/lm_dataset.py 实现 SFTDataset,把对话数据转换成 input_ids 和 labels
src/minimind_learning/trainer/train_full_sft.py 全参数 SFT 训练脚本
src/minimind_learning/trainer/train_pretrain.py 用于和 SFT 脚本对比

四、本章结构

这一组 SFT 笔记按下面的顺序展开:
#mermaid-svg-SKaxKt7HxG2Fhz5c{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-SKaxKt7HxG2Fhz5c .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-SKaxKt7HxG2Fhz5c .error-icon{fill:#552222;}#mermaid-svg-SKaxKt7HxG2Fhz5c .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-SKaxKt7HxG2Fhz5c .marker{fill:#333333;stroke:#333333;}#mermaid-svg-SKaxKt7HxG2Fhz5c .marker.cross{stroke:#333333;}#mermaid-svg-SKaxKt7HxG2Fhz5c svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-SKaxKt7HxG2Fhz5c p{margin:0;}#mermaid-svg-SKaxKt7HxG2Fhz5c .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-SKaxKt7HxG2Fhz5c .cluster-label text{fill:#333;}#mermaid-svg-SKaxKt7HxG2Fhz5c .cluster-label span{color:#333;}#mermaid-svg-SKaxKt7HxG2Fhz5c .cluster-label span p{background-color:transparent;}#mermaid-svg-SKaxKt7HxG2Fhz5c .label text,#mermaid-svg-SKaxKt7HxG2Fhz5c span{fill:#333;color:#333;}#mermaid-svg-SKaxKt7HxG2Fhz5c .node rect,#mermaid-svg-SKaxKt7HxG2Fhz5c .node circle,#mermaid-svg-SKaxKt7HxG2Fhz5c .node ellipse,#mermaid-svg-SKaxKt7HxG2Fhz5c .node polygon,#mermaid-svg-SKaxKt7HxG2Fhz5c .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-SKaxKt7HxG2Fhz5c .rough-node .label text,#mermaid-svg-SKaxKt7HxG2Fhz5c .node .label text,#mermaid-svg-SKaxKt7HxG2Fhz5c .image-shape .label,#mermaid-svg-SKaxKt7HxG2Fhz5c .icon-shape .label{text-anchor:middle;}#mermaid-svg-SKaxKt7HxG2Fhz5c .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-SKaxKt7HxG2Fhz5c .rough-node .label,#mermaid-svg-SKaxKt7HxG2Fhz5c .node .label,#mermaid-svg-SKaxKt7HxG2Fhz5c .image-shape .label,#mermaid-svg-SKaxKt7HxG2Fhz5c .icon-shape .label{text-align:center;}#mermaid-svg-SKaxKt7HxG2Fhz5c .node.clickable{cursor:pointer;}#mermaid-svg-SKaxKt7HxG2Fhz5c .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-SKaxKt7HxG2Fhz5c .arrowheadPath{fill:#333333;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-SKaxKt7HxG2Fhz5c .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-SKaxKt7HxG2Fhz5c .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-SKaxKt7HxG2Fhz5c .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-SKaxKt7HxG2Fhz5c .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-SKaxKt7HxG2Fhz5c .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-SKaxKt7HxG2Fhz5c .cluster text{fill:#333;}#mermaid-svg-SKaxKt7HxG2Fhz5c .cluster span{color:#333;}#mermaid-svg-SKaxKt7HxG2Fhz5c div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-SKaxKt7HxG2Fhz5c .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-SKaxKt7HxG2Fhz5c rect.text{fill:none;stroke-width:0;}#mermaid-svg-SKaxKt7HxG2Fhz5c .icon-shape,#mermaid-svg-SKaxKt7HxG2Fhz5c .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-SKaxKt7HxG2Fhz5c .icon-shape p,#mermaid-svg-SKaxKt7HxG2Fhz5c .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-SKaxKt7HxG2Fhz5c .icon-shape .label rect,#mermaid-svg-SKaxKt7HxG2Fhz5c .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-SKaxKt7HxG2Fhz5c .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-SKaxKt7HxG2Fhz5c .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-SKaxKt7HxG2Fhz5c :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} ① SFT 数据和 Chat Template

一条样本如何从 JSONL

变成训练张量
② Full SFT vs Pretrain 脚本

只关注不同的地方

跳过重复训练细节
③ SFT 和 Pretrain 的异同

目标/数据/loss mask/

能力变化几个角度对比
④ SFT Eval

loss eval、生成式评估、

任务评估各自看什么
⑤ SFT 常见问题

容易混淆的点

  1. SFT 数据和 Chat Template:一条 SFT 样本如何从 JSONL 变成训练张量;
  2. Full SFT 和 Pretrain 脚本的区别:只关注和 Pretrain 不同的地方,跳过重复训练细节(训练基建部分见笔记 #11);
  3. SFT 和 Pretrain 的异同:从目标、数据、loss mask、能力变化几个角度对比;
  4. SFT Eval 应该怎么做:SFT loss eval、生成式评估和任务评估各自该看什么;
  5. SFT 常见问题:整理 SFT 中容易混淆的点。

总结

问题 核心答案
SFT 是什么 Supervised Fine-Tuning,接在 Pretrain 后,用指令/问答/多轮对话数据微调
解决什么问题 Base 模型只会"像训练文本一样续写",不会"作为助手完成用户请求"
loss 变了吗 没变,仍是 NTP; L SFT \mathcal{L}_{\text{SFT}} LSFT 只对 response token 求和,prompt 部分设 loss mask
更深的视角 SFT = 把模型输出分布推向特定数据分布(行为对齐/分布迁移)
MiniMind 数据 sft_t2t_mini(快速)/ sft_t2t(主线);多轮对话格式,Tool Calling 已混入
关键代码 SFTDataset(数据转换)+ train_full_sft.py(训练脚本)

SFT 篇章共 5 个小节,后续将逐一展开------首先是"数据和 Chat Template":一条 SFT 样本从 JSONL 到训练张量的完整旅程。

参考

相关推荐
AI_Auto1 小时前
数字化转型实践方法⑦｜DX阶段二：课题分级，分清改善、战略转型还是商业模式重构
人工智能·架构·制造
陈工大模型1 小时前
2026年GEO工具选型指南：搜极星GEO如何破解企业AI搜索优化困局？
大数据·人工智能
copilot中国版1 小时前
Copilot + Excel鱼骨图：让根因分析从“凭经验”变成“有依据”
人工智能·excel·copilot
智兆APS1 小时前
缝制制造APS转型总纲：分层跃迁行动手册、选型评估与长期进化范式
大数据·人工智能·服装行业aps·包箱行业aps
Ivanqhz1 小时前
干涉图着色
java·服务器·网络·数据库·人工智能·深度学习
小蒋观天下1 小时前
两轮车检测AI摄像头行业竞争格局与企业突围路径解析
大数据·人工智能·安全·计算机视觉·ai大模型
工业设备方案笔记1 小时前
IBOX3576 vs PICO-PC RK3588S：AI边缘计算盒子/主板如何选？
人工智能
FluxArt1 小时前
GPT Image 2.5 商品换颜色：Flux Art 当前电商工具实操
人工智能·gpt
白露与泡影1 小时前
Jev 爆火之后，给企业应用配一个 AI 决策模型
大数据·人工智能·深度学习
热门推荐
01历年考研数学一、数学二、数学三真题试卷及答案PDF02国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）03GitHub 镜像站点04Telegram APK 下载安装完整指南 — 2026年最新05蜘蛛磁力 搜索引擎大全，如何使用蜘蛛磁力查找磁力链接062026 爱知・名古屋亚运会怎么看？直播平台+赛程安排分享07微信历史版本含下载地址（ Windows PC | 安卓 | MAC ）及设置微信不更新08jev-ultrafast 深度解析：7 秒订机票的浏览器 Agent 是如何炼成的09给AI一张“业务概念地图“：本体如何从哲学走向企业智能10Windows 10/11 如何退出微软账户并改用本地账户登录（含找不到选项的解决方法）