微信小微AI-评测|文档质量直接被判 0 分:小微团队评测那些没人告诉你的硬指标

评测|文档质量直接被判 0 分:小微团队评测那些没人告诉你的硬指标

系列《小微(微信小程序 AI)实战》第 7 篇

⚠️ 版本声明:本文基于小微内测版本(截至 2026-11-18 的官方文档与团队实测),微信官方尚未推出正式版本,评测标准、通过线、用例指标均可能随版本迭代调整,正式版发布后请以官方文档为准。

官方指南:developers.weixin.qq.com/miniprogram...

本文所有数字(通过线、用例配比、踩坑结论)均经我们实测核对,与早期网络流传口径有出入的地方会专门标注。


写在前面

skill 写完、接力跑通,离上线还差一道硬关卡:评测。它有两层:

  • 开发者自测:自己核查代码、针对性优化,成本低
  • 微信团队评测 :结果与线上版本分数直接关联,决定 AI 能否上线、线上调用效果

我们第一轮团队评测就踩了三个大坑:高权重场景覆盖率被判 0、文档质量直接归零、时间标签预检没过。这篇把标准和踩坑一次讲透。


一、自测 vs 团队评测:先分清两种评测

维度 开发者自测 微信团队评测
作用 自己核查、针对性优化 结果与「线上版本」分数直接关联
评测版本 最近 10 个开发版 仅支持最新体验版(+1 线上版)
SKILL 选择 可选 默认全选,不能屏蔽
评测文件检测 不通过可继续 必须全部通过才能继续
并发 体验版同时仅一个任务 同一开发者同一时间仅一个进行中任务
工具 最新 Nightly 开发者工具 同左

实务节奏建议:迭代期用自测 (10 个开发版的余量足够折腾),定型后再上团队评测(只认最新体验版,评测一次就是一次完整提交流程)。


二、通过线:四项全达标,缺一不可

官方首次评测通过线(注意场景覆盖的门槛是 60,不是 80------很多早期文章写错了):

维度 首次通过线 我们的实测成绩 评级
服务交付 ≥ 80 91 需要优化
交互体验 ≥ 80 95 表现较优
性能质量 ≥ 80 100 表现较优
场景覆盖 ≥ 60 100 表现较优

两个评级的含义:

  • 「需要优化」 = 已过线、可以上线,但线上分数维持在这个水位------建议定位扣分项优化后再发布
  • 「表现较优」 = ≥ 90

四项是 AND 关系:三项 90+ 但场景覆盖 59,照样不通过。


三、评测用例硬指标(实测核对版)

评测文件(用例 JSON)有严格的预检指标,不达标直接拦在提交环节。我们按 2026-11 官方指南逐条核对过,与网络早期流传口径(如「正例 ≥50」)有出入,以下为准:

指标 要求 踩坑备注
总量 50 ≤ 总条数 ≤ 100 下限是总量 50,不是正例 50
正例 / 负例 正例 40--92;负例 8--10 负例上限 10,加负例前先看余量
复杂用例 模型判 ≥4 需求点的用例占正例 ≥30% 新增简单用例时留意比例别被稀释
多样性 单实体出现次数 / 正例条数 < 5% 分母是正例条数不是实体总数;80% 实体满足即可
原子接口覆盖度 被正例覆盖的接口 / 所选 SKILL 全部接口 ≥ 85% 分母是接口总数;且必须有正例真正走该接口,只挂实体不算
未注册能力用例 不涉私有数据 ≥1 条 A 类(product_service);涉私有数据 1 条 A + 1 条 B(private_data) 上限共 2 条;A/B 是双标签
负例构成 须同含「业务状态」+「输入质量」两类 只有一类的负例集会被判不完整

3.1 接口覆盖度:挂了实体不算数

覆盖度的证明方式是 entities[].source 填 mcp.json 里的工具名,但真正的判定是「有对应正例会路由到该接口」 。我们的实测教训:新增「查看我的订单」skill 后,接口数从 6 变 7,覆盖度从 100% 掉到 6/7 ≈ 86%------擦线过。补了 1 条「打开订单中心」正例后才回到 100%。每加一个接口,马上想它的正例在哪。

3.2 时间标签:别信「无时间服务不适用」

这是最反直觉的一条。我们的业务是产品搜索/页面引导,本判断「无时间相关服务 → time 标签不适用」,结果平台预检直接判「未通过:数量不足(0/需≥4)、语义覆盖不全(缺全部 8 类)」。

必须补 ≥4 条 tags:["time"] 用例,且合计覆盖 8 类时间表达:

类别 示例
基准参照 今天 / 现在 / 明天
偏移量 3 天后 / 下周 / 下月 / 周末
模糊时段 最近 / 近期 / 过几天
节日相关 国庆节 / 春节(不带具体年月日)
完整日期 8 月 25 日
星期 周一 / 下周三
时刻 下午 3 点 / 14:00
组合 8 月 25 日下午 3 点(日期+时刻叠加)

做法很简单:把内容资讯类用例改写成带真实时间词并标 time------「今天...」「3 天后...」「下周一...」「国庆节前后...」「8 月 25 日...」「8 月 25 日下午 3 点...」,一次覆盖全 8 类,数量不用多增。

(对应地,位置标签 location 在没有本地服务(如 getlocation)时不适用------时间强制、位置按需,别搞反。)


四、坑 1:高权重场景覆盖率被判 0

实测事故:我们删掉 1 条促销活动正例(3→2 条),且另 1 条措辞里混了「顺便帮我代下单」------平台报告「1 个高权重场景覆盖率为 0」。

规则 :每个高权重场景(尤其新接入的能力)需要 ≥3 条意图纯粹的正例。两种写法都会被判 0:

  • 正例删到不足 3 条
  • 正例里混入超范围诉求(「代下单」「代办退款」这类接口不支持的操作)

修法:

  1. 拆成 5 条活动正例(浏览 / 新品 / 促销活动 / 福利 / 参与),措辞分别覆盖 mcp.json 里的典型表达
  2. 「代下单 / 代办退款」单独做负例(business-status 类),不要混在正例里------混着写既拿不到场景覆盖分、又拉低满足度

一句话原则:正例只做「这个场景该做的事」,边界外的一律进负例。


五、坑 2:文档质量直接归零

实测事故 :平台文档质量评测按接口计分 ,我们的 SKILL.md 里出现了「只用一句固定安抚话术(『请稍后再试』)」的表述------4/4 接口全中 → 文档质量 0 分 。不是扣分,是归零。

规则:SKILL.md(以及接口返回内容)里出现任何「固定句数 / 逐字措辞 / 模板话术」的限定,该接口即判缺陷。

两处必查位置(容易只改一个):

  1. ## 错误处理约束 章节:禁「只用一句固定话术」这类同时限定句数+措辞的表述
  2. 原子接口清单的「失败分支(isError: true)」行:同样禁「一句『请稍后再试』」

两处都写还等于文档自相矛盾。合规写法(只约束内容,不限句数措辞):

失败时简短告知用户「系统/入口暂时不可用、建议稍后重试」,禁止复述接口返回的错误详情 / 错误码 / 内部字段;句数与措辞由 Agent 结合具体失败场景自然组织,不限定固定句式。

并且要两层联动 (第 4 篇坑 4 讲过):isError:true 时接口返回的 content.text 也是指令式,SKILL.md 与代码两层口径一致,文档分才稳。


六、评测完成后的处理流程

markdown 复制代码
查看评测报告(四维分数 + 缺陷用例明细)
        ↓
对照通过线:四项全达 → 通过
        ↓
逐条核对缺陷用例,重点排查:
  ├─ 高权重场景覆盖率 0(正例 <3 条或混入超范围诉求)
  ├─ 文档质量 0 分(固定句式/逐字措辞)
  ├─ 未注册用例(「同意/拒绝」两种情形要分别人工核验)
  └─ 负例误报(如模糊搜索误匹配导致 LLM 谎报已找到)
        ↓
根据报告优化代码 → 重新上传体验版 → 重新发起评测
        ↓
达标后进入提审上线(第 8 篇)

三个流程性提醒:

  1. 评测只认最新体验版:评测通过后又改了代码,改后版本没评测过------需要重新上传体验版再评
  2. 评测通过 ≠ 免常规审核:类目 / 资质 / 隐私保护指引 / 内容合规照常独立审核
  3. 上线后可(可选)再评一次线上版,确认真实环境分数

什么时候需要重新评测

功能变化是否触发重评,判断标准是是否触及 AI 执行链路:

  • 不触及(纯普通页面 / 组件 / 无关模块改动)→ 正常提审即可,不用重评
  • 触及(原子接口要跳转的页面路径 / H5 地址 / 后端接口 / 登录流程变化)→ 建议重评,否则线上分数与实际表现脱节

拿不准就先跑开发者自测(轻量、支持 10 个开发版),确认 AI 链路没坏再决定。


七、评测用例文件:结构与脱敏案例集

评测文件放在 MiniAI/eval/ 下随代码走,整体是两个顶层数组:

json 复制代码
{
  "cases": [
    { "intent": "用户原话", "tags": ["可选标签"] }
  ],
  "entities": [
    {
      "type": "实体类型",
      "content": { "name": "...", "code": "...", "productType": "..." },
      "source": ["该实体归属的接口名(mcp.json 工具名)"]
    }
  ]
}

要点:

  • 用例本体只有 intent(用户原话)+ 可选 tags------没有 expect 字段,期望行为由平台按你的 mcp.json / SKILL.md 推断,所以「用例措辞贴近 mcp.json 的典型表达」直接决定判定结果
  • entities[].source 填接口名,用于证明接口覆盖度(但真正达标仍需正例走通该接口)

7.1 五类用例的真实样例(完整脱敏)

以下均为真实评测用例的脱敏版,覆盖全部五种标签形态:

① 普通正例------简单(单需求点)

json 复制代码
{ "intent": "帮我搜一下 XX 型号 Pro" }

② 普通正例------复杂(≥4 需求点,撑起「复杂用例 ≥30%」指标)

json 复制代码
{ "intent": "帮我查一下 000001 是哪个产品,确认下编号和产品类型,看看能不能加入收藏、能不能订阅补货,我想直接去详情页操作" }

③ time 用例(tags:["time"],覆盖 8 类时间表达之一)

json 复制代码
{
  "intent": "今天和最近有什么新品资讯和近期使用攻略,帮我挑几篇讲清楚逻辑、能快速看完的测评",
  "tags": ["time"]
}

(同族的还有:「3 天后有什么活动」「国庆节前后有什么福利」------一条用例带真实时间词并标 time,8 类表达合计覆盖即可。)

④ 负例(tags:["negative"],业务状态 + 输入质量两类)

json 复制代码
{ "intent": "帮我代下单支付", "tags": ["negative"] }

(业务状态类:超出能力边界的诉求------代下单 / 代支付 / 代办退款。输入质量类则如:只有模糊指代没有实体的「帮我查一下刚才那个」。)

⑤ 未注册能力用例(双标签,上限 2 条)

json 复制代码
{ "intent": "帮我把订单取消掉", "tags": ["product_service", "unregistered"] }
json 复制代码
{ "intent": "把我的收货地址发我看看", "tags": ["private_data", "unregistered"] }

(A 类 product_service = 平台已有但你的 skill 未注册的服务型诉求;B 类 private_data = 涉私有数据、需隐私授权的诉求。两类各 1 条,提交后要人工核验「同意 / 拒绝」两种情形。)

7.2 entities 的真实样例(完整脱敏)

json 复制代码
[
  {
    "type": "product",
    "content": { "name": "XX 型号 Pro", "code": "000001", "productType": "产品" },
    "source": ["searchProduct"]
  },
  {
    "type": "page",
    "content": { "name": "订单中心", "pageId": "orderCenter" },
    "source": ["openOrderCenter"]
  }
]

source 数组列出该实体由哪个接口承接------把全部已注册接口都挂上(每个接口至少一个实体 + 一条真正路由到它的正例),覆盖度才能 ≥85%。

7.3 维护纪律

血泪换来的,评测文件基线勿随手删改:

  • 每次改完用脚本统计硬指标(总量 / 正负例 / time 条数 / 未注册条数 / entities 的 source 覆盖面),别靠目测------我们的基线是:总量 60 / 正例 48 / 负例 10 / 未注册 2 / time 6
  • 高权重场景的 ≥3 条独立正例、time 用例的 8 类覆盖、entities 的接口覆盖,是三条最容易被无意破坏的基线------增删用例前先对照(第四节那个「覆盖率 0」事故,起因就是随手删了 1 条)
  • 用例措辞覆盖 mcp.json 的典型表达,别自创新说法------模型按描述路由,用例与描述脱节会被误判不命中

八、本篇小结

  1. 两种评测分工:自测管迭代(10 个开发版余量),团队评测管上线(只认最新体验版、评测文件必须全过预检)
  2. 通过线四项 AND :服务交付 / 交互体验 / 性能质量 ≥80,场景覆盖 ≥60(不是 80)
  3. 用例硬指标(实测核对版):总量 50--100、正例 40--92 / 负例 8--10、复杂用例 ≥30%、多样性 <5%、接口覆盖 ≥85%(须有正例真正走通)、未注册 1A+1B 上限 2、负例同含两类
  4. 时间标签是强制项:≥4 条覆盖 8 类时间表达,「无时间服务」的侥幸心理会被预检打回
  5. 高权重场景 ≥3 条意图纯粹的正例,超范围诉求一律进负例
  6. 文档质量零容忍:SKILL.md 禁固定句式/逐字措辞,错误处理章节与失败分支行两处都要查,与代码层 isError 口径联动
  7. 评测只认最新体验版;是否重评看「是否触及 AI 链路」

评测通过后就是提审与发布------但发布上线 ≠ 能被小微看到,中间还隔着灰度。下一篇讲提审流程与上线前提,再下一篇专门讲灰度与「为什么命不中」的排查。


参考

本文为实战经验整理(基于内测版本),官方评测标准以微信开放文档及评测工具实际预检为准。

相关推荐
Bacon13 分钟前
给项目做一次"全身 CT":Agent Skills 生态里的代码体检全链路
前端·人工智能·后端
颜进强16 分钟前
微信小微AI-提审与发布|评测过了不等于能上线:四道前置条件,缺一道都白提交
前端·ai编程·全栈
小虎AI生活17 分钟前
太好了!豆包终于接入了多模型,正面硬刚WorkBuddy
aigc·ai编程
颜进强18 分钟前
微信小微AI-【实战二】从零写一个 skill|卡片死活不出来?这 4 个坑我们全踩了一遍
前端·ai编程·全栈
颜进强21 分钟前
微信小微AI-命中效果调优|在 AI 的「选择题」里,怎么让小微更愿意选中你(系列收官)
前端·ai编程·全栈
颜进强22 分钟前
微信小微AI-【实战四】给 Agent 立人设|一份 AGENTS.md,决定小微是靠谱助手还是满嘴跑火车
前端·ai编程·全栈
颜进强22 分钟前
微信小微AI - 【实战一】工程化落地|Taro 主工程里塞进一套原生 AI 代码,我们这样让它们共存
前端·ai编程·全栈
颜进强28 分钟前
微信小微AI-【实战三】接力落地|用户点完 AI 卡片跨进小程序,那几秒才是体验的生死线
前端·ai编程·全栈
费曼学习法30 分钟前
为什么你的 Subagent 拆完反而更慢?我把 12 万 token 的任务重做了一遍
前端