10款模型写公交App实测：slogan为什么两极分化

一次「模型实测」里最反常的现象是：总分最后一名的 Kimi-K2.6，合规维度拿了全场第二高的 0.98，事实性 0.98，却因为格式 0.00、选材 0.00、说服力 0.00 直接坠底。它不是写错了，而是根本没交卷------正文只留下一行「主推 slogan」标题，内容为空。这次 slogan为什么两极分化，分化点不在文笔，在交付。下面把完整的打分数据和翻车原文摊开来看。

这次测了什么：给「站至」写十条以内的slogan

任务是给一个新锐公交出行 App「站至」提炼 slogan。产品核心功能是实时到站预测（精确到 30 秒）、车厢拥挤度预报和换乘方案；用户是通勤族，痛点是「在站台干等，不知道车什么时候来」。

要求相当苛刻：主推一条不超过 10 字，备选两条各不超过 12 字；禁用「智慧」「赋能」「简单」「更美好」这类竞品通用词；至少一条要和「时间/等待」强相关；还不许用「站至」的谐音梗------用户测试显示目标用户 Get 不到。每条 slogan 后必须附一句话说明创意逻辑。

这个任务的难点在于，它同时考短文案的语感和多重硬约束的执行力。字数卡到个位数，禁用词列表和「必须与时间相关」会互相挤压表达空间。说白了，这是格式遵循和创意的复合题。

评分口径：gpt-5.6-sol 七维各打 0-1 分

裁判用的是非参赛的 gpt-5.6-sol，七个维度各打 0-1 分：受众契合、合规、事实性、格式、语言、说服力、选材。拆成七维而不是打一个总分，是为了让「写得漂亮但超字数」和「字数合规但空洞」这类失败能被区分开------事实也证明这个拆分是必要的，后面会看到。

七维打分排名：0.95 到 0.32 的断层

模型	受众	合规	事实	格式	语言	说服	选材	均分
GPT-6-Sol	0.96	0.91	0.95	0.99	0.95	0.92	0.97	0.95
DeepSeek-V4-Pro	0.94	0.82	0.79	1.00	0.91	0.88	0.94	0.90
GLM-5.3	0.91	0.82	0.90	0.96	0.88	0.84	0.87	0.88
Kimi K3	0.92	0.76	0.78	0.96	0.92	0.87	0.91	0.87
Qwen3.6-Plus	0.93	0.78	0.72	0.99	0.86	0.89	0.92	0.87
GLM-5.3-Flash	0.88	0.78	0.76	0.91	0.84	0.85	0.87	0.84
Qwen3.5-Flash	0.88	0.73	0.84	0.72	0.82	0.76	0.88	0.80
MiniMax-M2.7	0.85	0.55	0.80	0.46	0.62	0.78	0.48	0.65
MiniMax-M3	0.76	0.48	0.68	0.30	0.61	0.72	0.35	0.56
Kimi-K2.6	0.05	0.98	0.98	0.00	0.20	0.00	0.00	0.32

第一名 GPT-6-Sol 均分 0.95，和第二名 DeepSeek-V4-Pro 差 0.05，头部其实咬得很紧。真正的断层在第七名之后：Qwen3.5-Flash 还有 0.80，MiniMax-M2.7 掉到 0.65，MiniMax-M3 再掉到 0.56，Kimi-K2.6 直接 0.32。头部六款（前六名，含两款 Flash）全部在 0.84 以上，尾部三款全部在 0.66 以下------这就是「两极分化」的形状：不是线性递减，而是悬崖。

耗时和分数无关：慢一倍反而垫底

有趣的是耗时和分数没有关系。Kimi-K2.6 跑了 120.92 秒，比 63.45 秒的 GLM-5.3-Flash 慢一倍，分数却是 0.32 对 0.84。慢慢想不等于想得对。

翻车现场：Kimi-K2.6 交了白卷，MiniMax 系被思考过程拖下水

先看垫底的 Kimi-K2.6。它的输出全文是：

主推 slogan

就这一行。没有主推内容，没有备选，没有创意逻辑。裁判对它的评价是「现有内容未出现夸大承诺、禁用词或敏感越界表述，但实质文案完全缺失」，最弱维度选材 0.00 的理由是「未选取实时到站、等待时间、拥挤度或换乘方案等任何品牌关键信息进行提炼」。合规 0.98 拿得毫无意义------没写字当然不会写错字。受众契合 0.05 说明裁判对一个空答案也没法给出实质分。

MiniMax 两款的死法：思考文本混进交付物

MiniMax 两款的失分模式不一样，但同源：它们把思考过程直接吐进了输出。MiniMax-M2.7 的作品节选开头是：

用户需要为公交出行App「站至」提炼slogan。让我仔细分析需求：

MiniMax-M3 更直接，用英文思考：

Let me analyze this request carefully.

坑在这里：<think> 标签没有被正确处理，推理文本混进了交付物。MiniMax-M3 的格式分因此只有 0.30，选材 0.35。如果评测管线按结构化规则解析输出（比如「找到'主推'字段及其后一句话」），思考文本会污染解析结果，格式维度直接崩掉。这个失分不能全算模型的锅------推理模型在网关侧不剥离思考块时，下游解析就必须自己兜底。

高分范本：GPT-6-Sol 的「车几点到，心里有数」

回到榜首。GPT-6-Sol 格式 0.99 的裁判理由是「完整提供一条主推、两条备选及逐条一句话说明，三条 slogan 均符合对应字数限制，也满足时间或等待相关要求」。看作品：

主推｜车几点到，心里有数 把到站预测说成通勤者最想要的确定感：不用再站着盲等。

备选｜等车不靠猜 直击站台干等的痛点，短促好记。

备选｜几点到，挤不挤，都知道 把到站时间和车厢拥挤度两个实用信息一起带出。

主推 9 个字，避开全部禁用词，时间相关，没碰谐音梗。唯一被扣分的地方也值得看：合规 0.91 的理由是「'几点到，挤不挤，都知道'略带绝对化，弱化了预测信息本身可能存在误差的事实」。裁判连预测误差这种事实层面都盯，说明七维里的合规不只是查禁用词。

中段亮点：倒计时、「时间先至」与卖确定感的定位

中段也有好句。Qwen3.6-Plus 的「把盲等，换成倒计时」用「换成」做动作转换，8 个字完成从苦等到掌控的情绪翻转；GLM-5.3-Flash 的「车未至，时间先至」把「信息先行」压进 7 个字。Kimi K3 的策略定调「竞品都在卖『出行』，我们卖『确定感』」更是整场少见的定位级思考。可见 0.84--0.88 这一档的模型，文案功力其实不输头部，差的是个别维度的稳定性。

评测管线怎么跑：断点续跑与结构化解析

这次横评的管线有两个设计值得说。一是按文件幂等的断点续跑：10 款模型每个的输出落一个独立文件，中断后重跑只补缺失的文件，不会重复请求已完成的模型。二是裁判输出用结构化 JSON 解析，七个维度的分数各有独立字段，避免从自然语言里正则抠数字：

python 复制代码

import os, json
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["SILVAMUX_API_KEY"],
    base_url="https://www.silvamux.com/api/v1",
)

resp = client.chat.completions.create(
    model="kimi-k3",
    messages=[
        {"role": "system", "content": JUDGE_SYSTEM_PROMPT},
        {"role": "user", "content": task_text + "\n\n---\n\n" + output_text},
    ],
    response_format={"type": "json_object"},
)
scores = json.loads(resp.choices[0].message.content)

裁判提示词的防偏置：七维独立锚点 + 反光环声明

裁判提示词里对每个维度给了独立的打分锚点，并在末尾声明「不要因为整体印象好而抬高等分维度」------LLM 裁判有光环效应，头部维度高分会带偏其他维度，这个声明是防偏置手段之一。当然裁判模型也有自己的偏好，单次七维分数看相对位置比看绝对值更可靠。另外，失败请求的排查可以带上响应里的 X-Request-Id（格式 REQ-xxxx），对应网关日志能直接定位。

flowchart LR A["任务设定<br/>约束与陷阱"] --> B["并发调用 10 款模型"] B --> C["原始输出落盘<br/>按模型分文件，断点续跑"] C --> D["裁判模型<br/>七维独立打分"] D --> E["汇总排名<br/>定位翻车维度"]

选型建议：按维度分数挑，别只看均分

从分数结构能推出几条具体建议：

格式敏感的生产场景 ，先排除 MiniMax-M2.7/M3（0.46/0.30）和 Kimi-K2.6（0.00），这三个的格式分意味着下游结构化解析会频繁失败，除非你自己做 <think> 剥离和空输出重试。
事实性要求高（比如文案要引用具体产品参数），Qwen3.6-Plus 的 0.72 是全场非翻车模型里最低的，DeepSeek-V4-Pro 的 0.79 和 Kimi K3 的 0.78 也低于 GLM-5.3 的 0.90，值得留意。
受众契合维度头部差距极小（0.91--0.96），到 GLM-5.3-Flash 的 0.88 也够用------短文案的「懂不懂用户」在这一批模型里不是瓶颈，瓶颈在交付完整性。
合规维度全员没有踩禁用词大坑（除了空卷），说明禁用词约束是这批模型都能执行好的指令类型；真正拉开差距的是字数限制和输出结构这类「同时满足多重约束」的能力。

最大启示：狠的不是创意题，是复合题

这次模型实测给到的最大启示是：评测任务里最狠的约束不是创意题，是复合题。下次再看到 slogan为什么两极分化的榜单，先查尾部模型的格式分------大概率不是不会写，是没按要求交卷。

以上示例在千木SilvaMux的 OpenAI 兼容端点上验证，裁判与参赛模型的调用名以模型广场详情页为准（本文用到 kimi-k3 等），接入参数与错误码说明见开发者文档。