会标注模型输出、会归纳失败模式、会改提示词之后，真正麻烦的问题才出现。新改动会不会弄坏已经好用的行为。视频把答案落在黄金数据集与回归测试上。黄金集是一小批你在乎的输入与可接受行为，版本化保管。每次改提示、换模型、动工具链，先对同一集重跑，再和基线比。关键问题应落在已知好行为有没有坏掉，平均分涨跌只能当辅证。
材料来自早班对视频 7vqU_Yj5kUc 的转述。演示里一次实验给出约百分之九十一的平均表现，以及四十二条判为 good 的结果。这些数字按转述原样引用，不当作你的业务基线。正文不放外链。
图注 左侧为闸门三档，右侧为种植的四类假成功。
目标说明
读完你应能做到四件事。
- 说明黄金集应覆盖哪些例子，以及它为什么要小而高信号。
- 在变更前重跑同一集并对比基线，而不是只看平均分。
- 用脚本对假变更单给出可合入、须补测、必打回。
- 接受「回归看统计退化，不是字面完全相等」。
黄金集是什么（据视频转述）
对视频语境，黄金数据集是一组被精心挑选的例子，代表你要长期守住的行为。它通常包括关键用户路径、边界情况、生产上曾经失败过的例子，以及高影响或高风险场景。每条有输入，有期望行为或可接受结果。规模常见是几十条量级，强调高信号，而不是覆盖一切。集合要版本化，并随真实失败追加。经验规则是，生产坏过一次，就加进黄金集。特别好的助手输出也可以收进去，用来锁定理想行为。
回归测试的流程也很直。先用当前提示在黄金集上跑出基线。再改提示、换模型、改 Agent 逻辑或工具用法。上线前用同一集重跑，对比基线。平均分上涨却砍掉旧好行为，仍应判为回归失败。大模型输出有随机性，回归信号更像准确率下降、幻觉上升、安全策略违例变多、时延或成本变差。评测可用语义相似、规则启发式、模型评审等。这里的回归，指统计上的退化，不是要求字符串全等。
闸门三档
可合入。 有版本化黄金集，变更后全量或约定比例重跑，与基线对比，关键路径无新增失败类型，统计指标未出现不可接受的退化。
须补测。 有集，但覆盖偏薄，或只跑了部分变更面。例如只测了提示词，工具链改动未覆盖。补测完成前不宣称回归通过。
必打回。 无黄金集却宣称通过。只抽三条高兴样。改工具链却不重跑旧用例。拿单次手工对话冒充版本对比。
当天最小实验
脚本在 _w/golden-dataset-gate-smoke/。五条假变更记录的判定如下。
text
C1 无黄金集 + 手工对话 -> 必打回
C2 有集但只抽 3 条高兴样 -> 必打回
C3 改工具链不重跑旧用例 -> 必打回
C4 无集 + 单次手工当版本对比 -> 必打回
C5 42 条全量重跑对比基线 -> 可合入种植表与闸门结果写在 plants.csv、gate_verdict.csv。视频演示数字写在 video_numbers.txt，避免和业务基线混用。你可以把 C5 的条数换成自己的集规模，判定函数保持「有集、重跑、对比」三件套。
四类假成功拆解
无黄金集就宣称回归通过。 这是最常见的口头通过。改完提示，作者自己聊两句，觉得更好，就准备发版。闸门应在流程上挡住。没有集，就不能点回归通过。
只抽测高兴样。 三条都是曾经演示过的喜庆输入。真正易碎的边界与历史故障不在抽样里。平均分很好看，上线后旧故障回潮。视频强调黄金集要包含曾经失败的例子，正是为了防这一招。
改工具链不重跑旧用例。 工具参数、检索源、鉴权头一变，提示词即使一字未改，行为也会变。回归集必须覆盖工具链变更，而不是只在「改了 prompt」时触发。
单次手工对话当版本对比。 同一个人，同一个心情，同一条幸运输入。它不是版本对比。版本对比要固定输入集、固定评分器、固定记录格式。手工对话可以用于探索，不能用于放行。
和提示词迭代的关系
视频把黄金集放在「已经会做评测与迭代」之后。顺序是先有失败模式与评测，再有回归集。没有失败模式库，黄金集容易变成高兴样仓库。没有回归集，评测分数会带着你漂移。两者一起，才从手感调参变成带质量标准的产品改动。
Agent 场景里，黄金集条目可以是多轮。记录里应保存工具调用是否成功、最终答复是否可接受，而不是只存最后一句。条目要能在 CI 里重放。不能重放的条目，只是文档，算不上黄金集资产。
预发检查
- 仓库里有版本化黄金集，条目数与清单可查。
- 变更清单勾选了提示、模型、工具链三类影响面。
- CI 或预发脚本能重跑并产出与基线的 diff。
- 放行页不接受我聊过了作为回归证据。
- 复跑本目录 smoke，四类种植仍为必打回，全量重跑样例为可合入。
接入顺序
第一周先收二十条。十条来自真实故障，五条来自关键路径，五条来自高风险。跑出基线。第二周起，任何提示或工具变更必须重跑。第三周再谈扩容到四十条以上，以及是否引入模型评审。不要第一天就追求完美覆盖。视频也说，不必第一天拥有完美黄金集。有真实用户与重复失败时，就是合适起点。
基线要冻结。每次只允许「新基线替换旧基线」走显式操作，并写明替换理由。悄悄提高基线阈值，等于把回归定义改宽。
评分器怎么选
规则启发式适合格式、必含字段、违禁词。语义相似适合意思大致正确即可的客服答复。模型评审适合难规则化的质量判断，但要把评审提示与版本一并冻结，否则评分器自己漂移。黄金集回归里，评分器变更应视为与模型变更同级的事件，也要重跑并出 diff。
不要在回归放行页上临时改评分阈值。阈值变更走配置版本。临时改阈值等于改定义。
和 CI 的接法
最小接法是预发手工跑脚本，把 CSV 贴进变更单。进阶接法是 CI 定时或按标签重跑，失败阻断合并。Agent 类项目若重跑成本高，可以先对关键子集必跑，夜间对全集跑。关键子集必须包含历史故障条目，否则又退化成高兴样。
变更单模板建议强制附件。基线摘要、本次 diff、失败条目列表、评分器版本。缺任一字段，视为闸门未过。这比再写一篇「我们很重视质量」更有效。
若条目含用户数据，入库前要脱敏，权限要收紧。黄金集是资产，也是风险面。视频说它会成为最有价值的资产之一，价值与保护措施应一起上涨。
失败条目怎么回流
回归失败的条目不应只躺在 CI 日志里。要回流到失败模式库，必要时升级为黄金集永久成员。修复后，旧失败条目仍保留，作为「曾经坏过」的守卫。删掉已修复条目，等于丢掉回归的记忆。
若某次变更故意改变行为，例如政策改写了拒答范围，应同时更新期望，并在版本说明里写明。把期望偷偷改宽却声称回归全绿，是另一种假成功。闸门要能区分行为变好与标准变松。
当天就能做的最小集，二十条也够用。条数可以不多，贵在每次变更真的重跑。视频里的四十二条 good 与约百分之九十一，只是演示快照。你的基线以自己仓库里的数字为准。
指标面板建议
至少四块。基线通过率。本次通过率。新增失败条目数。失败类型分布。平均分可以有，但不要当唯一放行依据。视频强调的关键句落在已知好行为有没有坏掉。面板若只突出平均分，闸门会在文化上失效。
把必打回做成变更单状态，评论区口头提醒不够。状态机比记忆可靠。C1 到 C4 在 smoke 里已经是必打回，接到流程里时不要改成警告。警告会被习惯性点掉。
随机性怎么交代
同一条目多跑几次取分布，比只跑一次更接近视频说的统计退化。若成本不允许，至少固定温度与种子，并在报告里写明「单次采样」。单次采样的回归通过，置信度应低于多次采样。变更单上要能看见采样次数，避免把偶然绿当成稳定绿。
小结
黄金数据集让改模型、改提示、改工具链变成可回归的工程变更。闸门看重的是已知好行为有没有坏，而不是平均分叙事。把四类假成功种进最小实验，可合入与必打回就有勾选依据。从手感迭代迈向质量标准，这一步最便宜，也最该先做。