本地模型升了一小步,朋友发现旧提示词集体失灵。我没让他急着重写全部,先把模型版本和提示词绑在一起验收。
他工作室用本地模型写内部说明、改提示词实验。有天他兴冲冲升了运行时和权重,打开旧项目一跑:语气飘了、格式乱了、以前稳的拒答边界也松了。他问我:"是不是提示词过时了?要不要全推倒重写?"
我说:先别推倒。先分清是"模型变了"还是"提示词本来就脆"。很多失效,其实是版本漂移,不是文笔不行。升级像换了一位同事:同一份说明书,新人理解角度不同,你得先对照,再决定改说明书还是改交接方式。
对话核心:版本与提示词一起钉死
他问:"那我以后升模型是不是就别升了?"
我说可以升,但要验收,而且验收要带着旧提示词本一起做。我们定了个很土的钉死法:
- 每次能复现的配置,记下模型名、量化方式、上下文长度、采样相关参数,写成一页"运行名片"。
- 提示词目录按模型版本分文件夹,不在同一个"latest"里互相覆盖。
- 升模型前,准备一组长得像真业务的探针题:格式题、拒答题、术语题各几道,升完必须重跑。
- 新旧并行一天:旧环境别急着删,新环境探针全绿再切流量。
他以前的习惯是:提示词扔在一个大文档里,模型升完直接换,坏了再改词。结果分不清到底是词的问题还是模型的问题,改到深夜也改不明白。钉死之后,他发现有一半"失效"其实是新模型更听后半段指令、更忽略他塞在开头的角色戏;另一半才是真的要改措辞。还有一小部分,是采样参数被安装器默默改回了默认值。分开看,动手才不慌。
我特别叮嘱他:提示词文件名里带上对应的模型短名,打开目录就知道"这套词是为谁写的",别靠记忆。
怎么验收升完没坑
验收清单我让他固定四项:
- 探针集全过:格式必须是列表的别变成散文;不该答的别漏答;术语题别发明同义词。
- 同一提示词在旧名片与新名片上对比,差异写进变更说明,不靠感觉。
- 启动脚本读取"运行名片",缺字段就拒绝启动,避免默默用了别人的默认值。
- 回滚演练一次:十分钟内能切回旧版本目录,证明不是口头回滚。
第一次升完他漏记了采样参数,探针格式题全漂。补进名片并强制读取后,才算真正钉住。第二次他只升运行时、不换权重,探针几乎全绿,只改了两处措辞------这才是健康的升级节奏。
一点体会
本地模型升级不是点一下更新那么浪漫。提示词是和具体版本共生的,不是永恒真理。版本名片 + 探针集 + 旧环境留一天,比连夜重写全部提示词便宜得多。先证明"同一套词在新模型上哪里变了",再决定改词还是改参数。
相关整理也会放在 evafang.com 备忘,方便自己翻。你们升本地模型时提示词怎么保管?评论区交换坑位。