评测|文档质量直接被判 0 分:小微团队评测那些没人告诉你的硬指标
系列《小微(微信小程序 AI)实战》第 7 篇
⚠️ 版本声明:本文基于小微内测版本(截至 2026-11-18 的官方文档与团队实测),微信官方尚未推出正式版本,评测标准、通过线、用例指标均可能随版本迭代调整,正式版发布后请以官方文档为准。
官方指南:developers.weixin.qq.com/miniprogram...
本文所有数字(通过线、用例配比、踩坑结论)均经我们实测核对,与早期网络流传口径有出入的地方会专门标注。
写在前面
skill 写完、接力跑通,离上线还差一道硬关卡:评测。它有两层:
- 开发者自测:自己核查代码、针对性优化,成本低
- 微信团队评测 :结果与线上版本分数直接关联,决定 AI 能否上线、线上调用效果
我们第一轮团队评测就踩了三个大坑:高权重场景覆盖率被判 0、文档质量直接归零、时间标签预检没过。这篇把标准和踩坑一次讲透。
一、自测 vs 团队评测:先分清两种评测
| 维度 | 开发者自测 | 微信团队评测 |
|---|---|---|
| 作用 | 自己核查、针对性优化 | 结果与「线上版本」分数直接关联 |
| 评测版本 | 最近 10 个开发版 | 仅支持最新体验版(+1 线上版) |
| SKILL 选择 | 可选 | 默认全选,不能屏蔽 |
| 评测文件检测 | 不通过可继续 | 必须全部通过才能继续 |
| 并发 | 体验版同时仅一个任务 | 同一开发者同一时间仅一个进行中任务 |
| 工具 | 最新 Nightly 开发者工具 | 同左 |
实务节奏建议:迭代期用自测 (10 个开发版的余量足够折腾),定型后再上团队评测(只认最新体验版,评测一次就是一次完整提交流程)。
二、通过线:四项全达标,缺一不可
官方首次评测通过线(注意场景覆盖的门槛是 60,不是 80------很多早期文章写错了):
| 维度 | 首次通过线 | 我们的实测成绩 | 评级 |
|---|---|---|---|
| 服务交付 | ≥ 80 | 91 | 需要优化 |
| 交互体验 | ≥ 80 | 95 | 表现较优 |
| 性能质量 | ≥ 80 | 100 | 表现较优 |
| 场景覆盖 | ≥ 60 | 100 | 表现较优 |
两个评级的含义:
- 「需要优化」 = 已过线、可以上线,但线上分数维持在这个水位------建议定位扣分项优化后再发布
- 「表现较优」 = ≥ 90
四项是 AND 关系:三项 90+ 但场景覆盖 59,照样不通过。
三、评测用例硬指标(实测核对版)
评测文件(用例 JSON)有严格的预检指标,不达标直接拦在提交环节。我们按 2026-11 官方指南逐条核对过,与网络早期流传口径(如「正例 ≥50」)有出入,以下为准:
| 指标 | 要求 | 踩坑备注 |
|---|---|---|
| 总量 | 50 ≤ 总条数 ≤ 100 | 下限是总量 50,不是正例 50 |
| 正例 / 负例 | 正例 40--92;负例 8--10 | 负例上限 10,加负例前先看余量 |
| 复杂用例 | 模型判 ≥4 需求点的用例占正例 ≥30% | 新增简单用例时留意比例别被稀释 |
| 多样性 | 单实体出现次数 / 正例条数 < 5% | 分母是正例条数不是实体总数;80% 实体满足即可 |
| 原子接口覆盖度 | 被正例覆盖的接口 / 所选 SKILL 全部接口 ≥ 85% | 分母是接口总数;且必须有正例真正走该接口,只挂实体不算 |
| 未注册能力用例 | 不涉私有数据 ≥1 条 A 类(product_service);涉私有数据 1 条 A + 1 条 B(private_data) |
上限共 2 条;A/B 是双标签 |
| 负例构成 | 须同含「业务状态」+「输入质量」两类 | 只有一类的负例集会被判不完整 |
3.1 接口覆盖度:挂了实体不算数
覆盖度的证明方式是 entities[].source 填 mcp.json 里的工具名,但真正的判定是「有对应正例会路由到该接口」 。我们的实测教训:新增「查看我的订单」skill 后,接口数从 6 变 7,覆盖度从 100% 掉到 6/7 ≈ 86%------擦线过。补了 1 条「打开订单中心」正例后才回到 100%。每加一个接口,马上想它的正例在哪。
3.2 时间标签:别信「无时间服务不适用」
这是最反直觉的一条。我们的业务是产品搜索/页面引导,本判断「无时间相关服务 → time 标签不适用」,结果平台预检直接判「未通过:数量不足(0/需≥4)、语义覆盖不全(缺全部 8 类)」。
必须补 ≥4 条 tags:["time"] 用例,且合计覆盖 8 类时间表达:
| 类别 | 示例 |
|---|---|
| 基准参照 | 今天 / 现在 / 明天 |
| 偏移量 | 3 天后 / 下周 / 下月 / 周末 |
| 模糊时段 | 最近 / 近期 / 过几天 |
| 节日相关 | 国庆节 / 春节(不带具体年月日) |
| 完整日期 | 8 月 25 日 |
| 星期 | 周一 / 下周三 |
| 时刻 | 下午 3 点 / 14:00 |
| 组合 | 8 月 25 日下午 3 点(日期+时刻叠加) |
做法很简单:把内容资讯类用例改写成带真实时间词并标 time------「今天...」「3 天后...」「下周一...」「国庆节前后...」「8 月 25 日...」「8 月 25 日下午 3 点...」,一次覆盖全 8 类,数量不用多增。
(对应地,位置标签 location 在没有本地服务(如 getlocation)时不适用------时间强制、位置按需,别搞反。)
四、坑 1:高权重场景覆盖率被判 0
实测事故:我们删掉 1 条促销活动正例(3→2 条),且另 1 条措辞里混了「顺便帮我代下单」------平台报告「1 个高权重场景覆盖率为 0」。
规则 :每个高权重场景(尤其新接入的能力)需要 ≥3 条意图纯粹的正例。两种写法都会被判 0:
- 正例删到不足 3 条
- 正例里混入超范围诉求(「代下单」「代办退款」这类接口不支持的操作)
修法:
- 拆成 5 条活动正例(浏览 / 新品 / 促销活动 / 福利 / 参与),措辞分别覆盖 mcp.json 里的典型表达
- 「代下单 / 代办退款」单独做负例(business-status 类),不要混在正例里------混着写既拿不到场景覆盖分、又拉低满足度
一句话原则:正例只做「这个场景该做的事」,边界外的一律进负例。
五、坑 2:文档质量直接归零
实测事故 :平台文档质量评测按接口计分 ,我们的 SKILL.md 里出现了「只用一句固定安抚话术(『请稍后再试』)」的表述------4/4 接口全中 → 文档质量 0 分 。不是扣分,是归零。
规则:SKILL.md(以及接口返回内容)里出现任何「固定句数 / 逐字措辞 / 模板话术」的限定,该接口即判缺陷。
两处必查位置(容易只改一个):
## 错误处理约束章节:禁「只用一句固定话术」这类同时限定句数+措辞的表述- 原子接口清单的「失败分支(isError: true)」行:同样禁「一句『请稍后再试』」
两处都写还等于文档自相矛盾。合规写法(只约束内容,不限句数措辞):
失败时简短告知用户「系统/入口暂时不可用、建议稍后重试」,禁止复述接口返回的错误详情 / 错误码 / 内部字段;句数与措辞由 Agent 结合具体失败场景自然组织,不限定固定句式。
并且要两层联动 (第 4 篇坑 4 讲过):isError:true 时接口返回的 content.text 也是指令式,SKILL.md 与代码两层口径一致,文档分才稳。
六、评测完成后的处理流程
markdown
查看评测报告(四维分数 + 缺陷用例明细)
↓
对照通过线:四项全达 → 通过
↓
逐条核对缺陷用例,重点排查:
├─ 高权重场景覆盖率 0(正例 <3 条或混入超范围诉求)
├─ 文档质量 0 分(固定句式/逐字措辞)
├─ 未注册用例(「同意/拒绝」两种情形要分别人工核验)
└─ 负例误报(如模糊搜索误匹配导致 LLM 谎报已找到)
↓
根据报告优化代码 → 重新上传体验版 → 重新发起评测
↓
达标后进入提审上线(第 8 篇)
三个流程性提醒:
- 评测只认最新体验版:评测通过后又改了代码,改后版本没评测过------需要重新上传体验版再评
- 评测通过 ≠ 免常规审核:类目 / 资质 / 隐私保护指引 / 内容合规照常独立审核
- 上线后可(可选)再评一次线上版,确认真实环境分数
什么时候需要重新评测
功能变化是否触发重评,判断标准是是否触及 AI 执行链路:
- 不触及(纯普通页面 / 组件 / 无关模块改动)→ 正常提审即可,不用重评
- 触及(原子接口要跳转的页面路径 / H5 地址 / 后端接口 / 登录流程变化)→ 建议重评,否则线上分数与实际表现脱节
拿不准就先跑开发者自测(轻量、支持 10 个开发版),确认 AI 链路没坏再决定。
七、评测用例文件:结构与脱敏案例集
评测文件放在 MiniAI/eval/ 下随代码走,整体是两个顶层数组:
json
{
"cases": [
{ "intent": "用户原话", "tags": ["可选标签"] }
],
"entities": [
{
"type": "实体类型",
"content": { "name": "...", "code": "...", "productType": "..." },
"source": ["该实体归属的接口名(mcp.json 工具名)"]
}
]
}
要点:
- 用例本体只有
intent(用户原话)+ 可选tags------没有 expect 字段,期望行为由平台按你的 mcp.json / SKILL.md 推断,所以「用例措辞贴近 mcp.json 的典型表达」直接决定判定结果 entities[].source填接口名,用于证明接口覆盖度(但真正达标仍需正例走通该接口)
7.1 五类用例的真实样例(完整脱敏)
以下均为真实评测用例的脱敏版,覆盖全部五种标签形态:
① 普通正例------简单(单需求点)
json
{ "intent": "帮我搜一下 XX 型号 Pro" }
② 普通正例------复杂(≥4 需求点,撑起「复杂用例 ≥30%」指标)
json
{ "intent": "帮我查一下 000001 是哪个产品,确认下编号和产品类型,看看能不能加入收藏、能不能订阅补货,我想直接去详情页操作" }
③ time 用例(tags:["time"],覆盖 8 类时间表达之一)
json
{
"intent": "今天和最近有什么新品资讯和近期使用攻略,帮我挑几篇讲清楚逻辑、能快速看完的测评",
"tags": ["time"]
}
(同族的还有:「3 天后有什么活动」「国庆节前后有什么福利」------一条用例带真实时间词并标 time,8 类表达合计覆盖即可。)
④ 负例(tags:["negative"],业务状态 + 输入质量两类)
json
{ "intent": "帮我代下单支付", "tags": ["negative"] }
(业务状态类:超出能力边界的诉求------代下单 / 代支付 / 代办退款。输入质量类则如:只有模糊指代没有实体的「帮我查一下刚才那个」。)
⑤ 未注册能力用例(双标签,上限 2 条)
json
{ "intent": "帮我把订单取消掉", "tags": ["product_service", "unregistered"] }
json
{ "intent": "把我的收货地址发我看看", "tags": ["private_data", "unregistered"] }
(A 类 product_service = 平台已有但你的 skill 未注册的服务型诉求;B 类 private_data = 涉私有数据、需隐私授权的诉求。两类各 1 条,提交后要人工核验「同意 / 拒绝」两种情形。)
7.2 entities 的真实样例(完整脱敏)
json
[
{
"type": "product",
"content": { "name": "XX 型号 Pro", "code": "000001", "productType": "产品" },
"source": ["searchProduct"]
},
{
"type": "page",
"content": { "name": "订单中心", "pageId": "orderCenter" },
"source": ["openOrderCenter"]
}
]
source 数组列出该实体由哪个接口承接------把全部已注册接口都挂上(每个接口至少一个实体 + 一条真正路由到它的正例),覆盖度才能 ≥85%。
7.3 维护纪律
血泪换来的,评测文件基线勿随手删改:
- 每次改完用脚本统计硬指标(总量 / 正负例 / time 条数 / 未注册条数 / entities 的 source 覆盖面),别靠目测------我们的基线是:总量 60 / 正例 48 / 负例 10 / 未注册 2 / time 6
- 高权重场景的 ≥3 条独立正例、time 用例的 8 类覆盖、entities 的接口覆盖,是三条最容易被无意破坏的基线------增删用例前先对照(第四节那个「覆盖率 0」事故,起因就是随手删了 1 条)
- 用例措辞覆盖 mcp.json 的典型表达,别自创新说法------模型按描述路由,用例与描述脱节会被误判不命中
八、本篇小结
- 两种评测分工:自测管迭代(10 个开发版余量),团队评测管上线(只认最新体验版、评测文件必须全过预检)
- 通过线四项 AND :服务交付 / 交互体验 / 性能质量 ≥80,场景覆盖 ≥60(不是 80)
- 用例硬指标(实测核对版):总量 50--100、正例 40--92 / 负例 8--10、复杂用例 ≥30%、多样性 <5%、接口覆盖 ≥85%(须有正例真正走通)、未注册 1A+1B 上限 2、负例同含两类
- 时间标签是强制项:≥4 条覆盖 8 类时间表达,「无时间服务」的侥幸心理会被预检打回
- 高权重场景 ≥3 条意图纯粹的正例,超范围诉求一律进负例
- 文档质量零容忍:SKILL.md 禁固定句式/逐字措辞,错误处理章节与失败分支行两处都要查,与代码层 isError 口径联动
- 评测只认最新体验版;是否重评看「是否触及 AI 链路」
评测通过后就是提审与发布------但发布上线 ≠ 能被小微看到,中间还隔着灰度。下一篇讲提审流程与上线前提,再下一篇专门讲灰度与「为什么命不中」的排查。
参考
本文为实战经验整理(基于内测版本),官方评测标准以微信开放文档及评测工具实际预检为准。