提示词迭代 - 提示词迭代技术,学习,经验文章

AIGC大时代

6 小时前

改模型先过黄金数据集：LLM 回归评测闸门与当天最小实验会标注模型输出、会归纳失败模式、会改提示词之后，真正麻烦的问题才出现。新改动会不会弄坏已经好用的行为。视频把答案落在黄金数据集与回归测试上。黄金集是一小批你在乎的输入与可接受行为，版本化保管。每次改提示、换模型、动工具链，先对同一集重跑，再和基线比。关键问题应落在已知好行为有没有坏掉，平均分涨跌只能当辅证。