3 款免费模型颁奖词实测:0.90 分冠军赢在哪

颁奖词这种文体,最能暴露一个模型「听话不听话」------材料里埋了假信息、禁用词和一条不许点破的暗线,谁读懂了规则,谁在自由发挥,一次就现形。这次模型实测选了三款免费档位的模型同题比稿:GLM-5.3-Flash、Kimi-K2.6、Qwen3.5-Flash,由非参赛的 gpt-5.6-sol 担任裁判,七个维度逐一打分。结果是 GLM-5.3-Flash 以 0.90 的均分拿下第一,Kimi-K2.6 以 0.89 紧咬在后,Qwen3.5-Flash 的 0.80 看似只差 0.1,翻车的原因却完全不在文笔上。下面把评分表、裁判理由和作品原文摊开来讲。

这次同题比稿到底难在哪

先说任务。给一位「年度最佳新人」写颁奖词,材料由 HR 提供,里面故意塞了干扰项:入职 8 个月、三个月拉回 1.2 万沉默用户是部门历史最好成绩,这没问题;但材料里那句「牺牲个人时间、连续加班」经核实不实,不许采用。真正的难点有三层:

  • 篇幅硬约束:120 字以内,念出来约 40 秒
  • 价值排序要求:「零预算」这个亮点必须比 1.2 万这个数字更靠核心------这考的是模型对「什么定义一个人」的判断
  • 意象暗线:观星团建可以化用收尾,和「把人聚回来」暗合,但点破这层类比就俗了

三个禁用词:文笔之外真正的筛选器

另外还有三个禁用词:「未来可期」「后生可畏」「新星」。这五条约束叠在一起,模型实测的区分度就出来了------文笔好坏反而不是主要矛盾,事实纪律才是。

评测流水线:为什么是七维、怎么防裁判偏置

七维打分是我在这类文体实测里固定下来的框架:受众契合、合规、事实性、格式、语言、说服力、选材,各 0-1 分。为什么拆这么细?因为「颁奖词写得好不好」是个没法直接量化的复合问题,拆维度之后,裁判模型的判断对象从「整体印象」变成「单点事实」,幻觉空间小很多。合规维度盯禁用词和加班叙事,事实性盯材料外扩写,格式盯字数和自我说明------每一维都有明确锚点,不靠裁判的主观口味。

当然,裁判模型也有偏好,单裁判的单次评分当趋势看可以,当定论看不行。但三款作品分差的结构性信息是可靠的,下面细说。

并发调用的接入方式与核心代码

流水线本身不复杂:并发给三个模型发同一份 prompt,拿到输出后连同原始材料一起喂给裁判,要求按七维返回 JSON。接入用 OpenAI 兼容 SDK,关键片段如下:

python 复制代码
import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["SILVAMUX_API_KEY"],
    base_url="https://www.silvamux.com/api/v1",
)

resp = client.chat.completions.create(
    model="glm-5.3-flash",
    messages=[
        {"role": "system", "content": ROLE_PROMPT},
        {"role": "user", "content": AWARD_TASK},
    ],
)
print(resp.choices[0].message.content)

5xx 透传不扣费:按状态码分流的重试逻辑

模型调用名以模型广场详情页的稳定 alias 为准,别按展示名自行拼接。裁判侧单独换 model 参数指向 gpt-5.6-sol,逐维解析 JSON 分数。这里有个实操细节:模型侧偶发 5xx 时网关会脱敏透传且不产生扣费,重试逻辑按状态码分流即可,400 改参数、429 指数退避、500 间隔 1-5 秒重试,别一律无脑重试。

flowchart LR A[&#34;任务设定<br/>约束与陷阱&#34;] --> B[&#34;并发调用 3 款模型&#34;] B --> C[&#34;原始输出落盘<br/>按模型分文件,断点续跑&#34;] C --> D[&#34;裁判模型<br/>七维独立打分&#34;] D --> E[&#34;汇总排名<br/>定位翻车维度&#34;]

排名表:0.01 的分差和 0.10 的鸿沟

维度 GLM-5.3-Flash Kimi-K2.6 Qwen3.5-Flash
受众契合 0.91 0.90 0.84
合规 0.96 0.87 0.72
事实性 0.84 0.78 0.65
格式 0.84 0.96 0.97
语言 0.92 0.86 0.83
说服力 0.90 0.91 0.82
选材 0.95 0.93 0.76
均分 0.90 0.89 0.80

前三名咬得很紧。第一名和第二名只差 0.01,本质上是同一档水平的不同取舍:GLM-5.3-Flash 赢在合规 0.96 和选材 0.95,Kimi-K2.6 赢在格式 0.96------它交出的就是一段可以直接上台念的成品。第三名掉队 0.10,掉的维度集中在合规 0.72、事实性 0.65、选材 0.76,全是有硬标准的维度,不是文笔维度。耗时上 GLM-5.3-Flash 花了 140.93s,是最慢的一个;Kimi-K2.6 只要 51.15s,Qwen3.5-Flash 为 61.13s。批处理场景下这个差距值得留意。

翻车现场:Qwen3.5-Flash 输给的是「没有依据的扩写」

Qwen3.5-Flash 的格式分其实是全场最高的 0.97,裁判确认「全文约 108 字,符合 120 字以内及约 40 秒朗读要求,并避开了加班叙事和三个禁用词」。前半程纪律满分。坑在事实性 0.65------裁判给的理由很具体:

「零投放预算」被改写成「无需投入」「成本归零」,且材料只说组织过一次观星活动,作品却写「常在屋顶支起望远镜」和「二十二人围坐」,均属无依据扩写。

对照作品原文看:

无需投入,自有回响。闲暇时,他常在屋顶支起望远镜。二十二人围坐,仰观星汉,灯火可亲。......成本归零,信任增值。

「常在」与「成本归零」:三处无依据扩写逐条对账

「常在」两个字,把一次活动写成了习惯;「二十二人围坐」看起来像尊重材料,实际把「22 人参加团建」渲染成了画面叙事。零预算改写成「成本归零」更是语义漂移------零预算是事实,成本归零是修辞上的夸大。看作品节选,短句排比很有节奏感,说明它的语言能力没问题。输在把「写得漂亮」的优先级排到了「写得属实」前面,而颁奖词恰恰是念出去就要对本人负责的文体。

高分范本:GLM-5.3-Flash 赢在「该说的说、不该说的不说」

再看 GLM-5.3-Flash 的 0.90 是怎么拿的。合规 0.96 的裁判理由:

未采用不实加班叙事,也未出现「未来可期」「后生可畏」「新星」等禁用语,且没有夸大承诺或越界表述。

唯一失分点:正文 118 字却因自我说明被扣格式分

它唯一的失分也很有意思------格式 0.84。裁判指出颁奖词正文确实在 120 字以内且结构完整,但附加的「(118字......)」自我说明不属于颁奖词,若计入整体输出则影响直接使用。看原文:

八个月,一万二千个沉默的名字被重新点亮------而这一次点亮,没有花一分钱。他不靠预算说服人,靠的是想明白:人为什么离开,又为什么愿意回来。省下的是钱,赢回的是信任。业余时分,他喜欢把同事们带到屋顶,指给他们看那些一直都在、只是少有人抬头看的星星。

这一段做对了三件事:零预算放在第一句当核心,压过 1.2 万的数字;观星意象只写「指给他们看那些一直都在、只是少有人抬头看的星星」,沉默用户和星星的暗合留给听众自己品,一个字没点破。Kimi-K2.6 的作品同样是可用成品,「他仍习惯把散落四处的目光,聚向同一片星空」收尾干净利落,只是合规 0.87 说明仍有细节可挑。

选型建议:按分数结构挑,不按均分挑

这次模型实测的可迁移结论有三条。其一,Qwen3.5-Flash 格式 0.97、事实性 0.65 的分数结构说明:它的输出纪律在字数和禁用词层面是可靠的,但涉及材料细节时会主动「补戏」。给它做摘要、做格式化任务问题不大,涉及对事实负责的正式文案要慎用。其二,GLM-5.3-Flash 和 Kimi-K2.6 都能直接交付,差别在 140.93s 对 51.15s 的耗时与格式维度------需要直接落地的成品且在意响应速度,分数结构上 Kimi-K2.6 更合适;需要严格守住合规与选材边界的场景,GLM-5.3-Flash 的 0.96 更稳,但记得在 prompt 里明确「只输出正文,不要附加说明」,它的格式失分就出在这。其三,颁奖词类任务的评测维度权重里,事实性和合规应该压过语言分------这次垫底的不是文笔最差的,是纪律最松的。

自己埋干扰项跑一轮:替代通用榜单的验证方法

下次拿不准一款模型能不能写正式文案,别看通用的榜单跑分。照这次的思路自己出一份带干扰项的同题任务,埋一条假信息、设三个禁用词,跑一轮七维打分,翻没翻车一眼可见。颁奖词只是个载体,真正被测的是模型对约束的服从度。

以上示例在千木SilvaMux的 OpenAI 兼容端点上验证,参赛调用名为 glm-5.3-flash、kimi-k2.6、qwen3.5-flash,裁判调用名为 gpt-5.6-sol,API Key 通过环境变量 SILVAMUX_API_KEY 注入,参数出处可查开发者文档。

相关推荐
千木SilvaMux2 小时前
10款模型写公交App实测:slogan为什么两极分化
llm·api
张张123y3 小时前
后端第十二课:Agent 开发(让大模型从“会答“升级到“会做“)
前端·大模型·llm·agent·rag
桃西西呀4 小时前
我给网关加了计量埋点,才发现限流配错三个月,下游账单多烧了两倍
人工智能·llm·ai编程
挖掘狂人4 小时前
模型 Temperature 和 Top-p 到底有什么区别?一篇讲透原理与调参
人工智能·llm·ai编程
sg_knight5 小时前
Kimi Work 科研加速器:文献综述和论文润色的完整方法
llm·agent·ai编程·kimi·月之暗面·work·kimi work
SharpCJ5 小时前
Koog(7)——模型调用的输入域输出:多模态、参数、流式与结构化
llm·agent·koog
京东云开发者7 小时前
ScoAI:面向供应链的运筹原生决策智能
llm
goehou7 小时前
Prompt 管理实战:分层、版本与回归上线(附清单)
llm·实战·prompt·测试·工程化
高频因子挖掘机9 小时前
自选股票列表接入行情 API 时,如何避免漏查、重复查和查错标的?
后端·github·api