别再追"最强模型"了,先想清楚你要什么
一份给普通用户的选模型指南。不推荐任何具体模型,只给方法------因为方法不会三个月过期,模型会。
你大概也遇到过这种场面:听说某个新模型"史上最强",兴冲冲切过去,让它写封邮件、润色一段文案。结果开头就是"值得注意的是",通篇一股熟悉的 AI 味。你叹口气,切回旧模型,甚至开始怀疑:是不是我不会用?
多半不是你不会用,也不一定是模型不行。很多时候,是选法不对。
先说结论:没有"最好的模型"这回事
AI 模型偏科得很。同一个模型,写代码是天才,写给人看的文字却是灾难;在英文榜上排第一,中文却一塌糊涂。"最新、最强、最贵"只说明它在某些考试卷上分数高,不代表它适合你手头这件事。
所以,别再问"哪个模型最好",换成问"我这件事,该用什么样的模型"。
这件事有个现成的类比:招人。
- 写岗位描述------想清楚任务要什么
- 谈薪资预算------决定用哪个档位
- 筛简历------看评测榜单
- 面试------自己动手测
- 入职引导------调教提示词
- 试用期与定期绩效------锁定版本、定期复评
少做一步,后面都可能返工。下面按顺序走一遍。为了说得具体,全文都用一个例子:让 AI 帮你写周报、邮件、公众号文章,而且要像你自己写的。
第一步:给任务写"岗位描述"
选错模型,首要原因不是模型差,而是没想清楚要什么。"拿最强模型写文章"就是典型的岗位错配------就像招一个奥数冠军来写产品文案。
动手前,先问自己四个问题:
- 主要拿来干嘛? 聊天问事、写东西、写代码,还是大批量处理文档?这几类任务下,模型排名完全不同。
- 错了要紧吗? 给自己看的草稿,错了改改就行;发给客户的方案,一次失误就很难看。后者才值得用贵的。
- 中文为主还是英文? 模型的语言能力是分开的,英文榜的排名对中文任务基本不作数。
- 用量多大? 偶尔用,订阅套餐里随便挑;天天用,或者走 API 计费,价格才开始真正重要。
拿贯穿例子回答一遍:写周报、邮件和公众号文章,要"像我自己",中文,每天用。看到没------这个岗位描述里,一个字都没提"最强"。
第二步:谈预算------贵的不一定对,便宜的大概率够
招人要先谈薪资,选模型也得看看预算。各家模型都是分档卖的,同一个家族里,旗舰和入门档的价差能到 100 倍。
什么时候值得上旗舰?只有两种情况:这件事很难,中档模型把"思考强度"拉满还是不行;或者出错的代价你承担不起。
日常对话、常规写作,中档绰绰有余。升档随时可以;默认买旗舰,会多花很多钱。
顺带说说"思考强度"(effort),有的叫推理模式。它控制的是模型"想多深"。这里有两个常见误用:简单任务开高档,只会更慢、更贵,还容易想多了跑偏;指望它治"AI 腔",实际上风格问题在哪个档位都存在。
第三步:看榜单之前,先看是谁在打分
看榜单就像筛简历:它能帮你缩小范围,却不能替你决定录用谁。动手之前,先问一句:这分数是谁打的?
给你看一个真实的"两榜打架"。GPT-6 Astra 的写作水平:在 EQ-Bench 这个由 AI 当评委的榜上,它排第一;在 arena.ai 的真人盲投里,414 场对决,它只赢了 38 场。
同一个模型,机器评委说它是状元,真人投票却把它排到倒数。这个矛盾本身就是信息:机器评委欣赏结构完整、要素齐全;真人读着觉得假腔假调,不像人说的话。你的文章是写给谁看的,就信谁打的分。还要注意一下问题:
- 中文任务看中文榜。 各家中文榜(真人投票制)和英文榜的排名经常对不上,别照抄。
- 公开榜单有"泄题"问题。 考题会混进下一代模型的训练数据,分数天然虚高------实证研究里,MMLU 约三成测试项有污染迹象。所以榜单只能做初筛,帮你圈出两三个候选,终审权留在自己手里。
第四步:花一个下午,当一次面试官
这是整套方法里性价比最高的一步,做起来却只有三步:
- 收集 15 到 20 个你真实会遇到的任务。要你平时真的会问的问题,不要编"看起来很标准"的测试题。
- 找两三个候选模型,每题各跑两三遍。同一个模型问两次,答案可能不一样。只跑一次就下结论,跟抽签没区别。
- 把所有回答去掉署名、打乱顺序,自己盲读,凭直觉挑出"像我会写的那个"。
跑完这一轮,"感觉这个模型不太行"就变成了"这两道题它都答非所问,那道题的三次输出里两次出现了'值得注意的是'"。前者是情绪,后者是证据。
这套题别扔。以后模型升级了,或者你想换新的了,拿出来重跑一遍,就当给它做年度绩效复评。
第五步:选完别裸用------每个模型都有"出厂习惯"
这有点像新人入职:人招到了,规矩还得讲清楚。
模型在训练中被反复奖励过"看起来全面""滴水不漏",于是出厂自带一些习惯:爱免责声明、爱列清单、爱总结陈词、顺着你说,对话一长就开始重复自己。这些多数都能调教,而且调教远比换模型便宜:
- 禁令比形容词管用。"写得简洁自然一点"是模糊指令;"不要用'值得注意的是'开头,不要列超过三条,不要在结尾总结"是可以逐条执行的。经验上,规则里八成写"禁止什么",效果最好。
- 给它你的范文。 风格这个东西,你说不清楚,但它学得会。贴一段你自己写的文字,比一百个形容词都准。
- 想听真话,就别给暗示。 把"这样改是不是更好?"换成"这两版各有什么问题?"前者它多半顺着你说。想让它挑错,就直接说明:"直接指出错误,不用客气。"有实验发现,只说"请批判性思考",它发现了问题也可能憋着不说。
- 重要规则放配置里,别只在聊天里说一次。 对话太长,早先的约定会被稀释、遗忘。把规则放进系统提示或自定义指令里,隔一阵子让它复述一遍当前要遵守的规则。
但也有一类问题,提示词救不了:安全审查的硬拦截(比如漏洞类请求,声明"我有授权"也没用)、输出的随机性、超长内容被悄悄截断。遇到这类问题,要么换模型,要么换工作方法。别浪费一个下午,反复改提示词。
第六步:留三个心眼
过了面试,还有试用期和绩效考核。选模型也一样,后面要留三个心眼:
- 模型会悄悄变。 同一个名字,几个月后行为可能就不一样了------厂商会静默更新。甚至有用户抓包发现,自己选的是旗舰,实际响应的却是入门款。能锁定版本就锁定,也要养成核对的习惯:实际到手的到底是什么?
- 调好的规则也会过期。 换模型、模型升级之后,原来管用的提示词可能悄悄失效。老规矩:拿第四步的题重跑一遍。
- 设置好成本上限。 偶尔聊天无所谓;一旦开始挂 agent、跑批量任务,成本会成倍往上涨。设个上限,总没错。