标签 :
MikaAgent评测真机评测holdout评测纪律GUI Agent适用读者:要给 Agent 产品建评测体系的工程师与产品经理;关心"Agent 成功率数字怎么来的"的读者;做 GUI Agent 评测题集的同学。
阅读完你将学会 :Mika 评测题集的结构(8 类 128 题、一题一个 JSON);期望结局四态为什么把 impossible/barrier 单列;
answer_grounded怎么防"背答案";调优/保留分池与"保留题被调过就挪池"的纪律;不可逆题默认不跑与"无安全网"的明示;RunMetrics 的时间去向;人工改判的证据规则。本讲也是 Mika 章的收束讲。前序:Mika 全景与总体架构。本篇素材 :Mika 仓库源码调研(wangzan101/Mika,2026-11-11 快照)。主要来源:
eval/README.md(全 95 行通读核对)、eval/tasks/(128 题逐目录清点:read 43、web 22、skills 20、write 11、memory 10、irreversible 9、impossible 8、barrier 5)、docs/dev/architecture.md§13(RunMetrics)。
一、贯穿例子:怎么知道它行不行
最后一讲。前面七讲看了 Mika 能做什么、怎么做得稳;现在回答投资人和你自己迟早都会问的那句:凭什么信?
演示 GIF 人人都会剪。要有底气地说"这个版本比上个版本好",需要一套能反复跑、分数可比、不被"调到题上"污染的评测。Mika 的答案朴素到不像 AI 项目的做法:真机上、一道一道跑真实任务、机器初判加人工改判。没有炫技的自动裁判大模型,没有 Agent 生成的题库------128 个手写 JSON,跑在生产代码的真实路径上。
二、题集长什么样:8 类 128 题
一题一个 JSON,放 eval/tasks/<类别>/(eval/README.md 目录表):
| 目录 | 考什么 | 期望结局 | 实际题数 |
|---|---|---|---|
read/system、read/content、read/shopping |
设置/内容/电商查信息(只查不买) | succeeded |
43(合计) |
write |
本机写操作(笔记、闹钟、日历、联系人草稿) | succeeded |
11 |
web |
网页题(含网页 vs App 对照、下载后沙箱里算) | 看类别 | 22 |
irreversible |
发消息、下单、删除(默认不跑) | confirmation |
9 |
impossible |
本来就做不成 | failed |
8 |
barrier |
预期撞上登录/验证 | takeover |
5 |
skills、memory |
专项配对题、记忆题 | --- | 20 + 10 |
一道题长这样(README 示例,原文;checks 里的 answer_regex 就是"按正则格式比对回答"、answer_grounded 第四节细讲,partition 的 tune/holdout 之分第五节细讲):
json
{
"id": "calculator-multiply",
"goal": "用手机自带的计算器算 123×456,告诉我结果",
"category": "read",
"partition": "tune",
"expect": "succeeded",
"checks": [{ "type": "answer_regex", "pattern": "56,?088" },
{ "type": "answer_grounded", "minItems": 1 }],
"maxSteps": 20,
"timeoutSec": 420
}
出题纪律本身就是产品观:goal 要"像真人那样说";只读题写明"只看,不要点赞/加购物车";手机自带 App(时钟、计算器这些)不写死包名,而是按安卓的标准动作接口找------系统里随便哪个厂商的计算器接了这个标准动作都行,同一道题在任何安卓机上都能跑;答案会因手机而异的(比如系统版本号、今天日期),评测前先跑一个白名单小探针、把这台手机上的真实值采下来再比对。
三、期望结局四态:把"做不成"也考进来
期望结局只有四种:succeeded(办成)、confirmation(该问的问了)、failed(做不成)、takeover(该交人了)。有意思的是后两种单列成类:
- impossible 类 (8 题)专出"本来就做不成"的题------考的不是能力,是诚实 :Agent 该用
end_not_done如实说做不成,而不是硬编一个答案。这直接呼应第 1 讲的"没有完成工具"和结局判定体系; - barrier 类 (5 题)预期撞上登录墙/验证码------考的是第 2 讲的
NEEDS_HUMAN识别与hand_to_user,该认怂时认怂。
很多评测集只考"能不能成",Mika 用 13 道题专门考"能不能体面地不成"。GUI Agent 的真实世界里,会拒绝和会办事一样重要。
四、核对规则:防背答案、防误伤、防越权
checks 是一个小规则语言(README 全文核对),几条设计值得抄:
answer_grounded(答案要有出处) :凡是答案会变的题(今天的天气、现在的价格),都不能写死标准答案,改成核对"你回答里说的每个数值、每个带引号的名字,是不是都在你最后几次读屏里出现过 "。比如它答"降水概率 70%"------这个 70% 得真的在它读到的天气页上出现过;编是编不过去的,因为核对的是它自己的读屏记录。这是反幻觉的结构性核对 :不问答案对不对,问答案有没有出处------和第 1 讲回答下面的"来源"(AnswerSources证据账本)是同一个思路,一个用在产品里、一个用在考试里;marker(写没写,找回来看) :写类题(记笔记、建日程)的目标里会要求带上一段标记串,其中含{run}占位符(跑题时替换,保证每次跑的标记串都不一样)。跑完用screen_has(检查屏幕上有没有这段字)去 App 里找------找到这段字才算真写了,嘴上说"已记录"不算;confirmation_shows(连审批卡也被考):不可逆题核对确认卡片上的四要素------做什么、对谁、什么内容、多少钱。第 4 讲那张审批卡片本身,在这里成了考题的一部分:卡片写错要素,这题不算过;asked_user(该问还是该自己定,两个方向都考) :缺的是只有用户知道的事 ("指的是哪个联系人""删哪一条")→ 期望它问过你;缺的只是偏好 (什么牌子、哪个城市)→ 期望它不问,按常理定下来并在回答里说明。把"分寸感"变成可判分的题,这在评测集里相当少见。
五、调优池与保留池:评测的诚实纪律
先说为什么要把题分成两堆。 评测的一个用途是指导改进:哪类题错得多,就去调提示词、补知识,再跑一遍看分数涨没涨。危险恰恰在这------如果调完又拿同一批题 验证,就像学生考前背过原题、考卷还是那张考卷:分数必然涨,但涨的是"背题能力",不是真实水平。Agent 一样:照着错题改提示词、再用这批题打分,分数也会涨------可这不代表它对没见过的任务也变好了。这叫"调到题上"(过拟合)。
解法:把题库分成两堆 (每题标 partition):
- 调优池(tune,约七成):日常随便用------调提示词、补知识、反复跑,都看它的分数;
- 保留池 (holdout,约三成):平时锁着不看,只在要做发版决定时拿出来考一次。它就是"没背过的新题",它上面的分数才反映真实水平。
分配时按题目类别分层(每个类别都留了保留题,防止某一类全堆在调优池里)。纪律原文(eval/README.md):
"调提示词、知识、技能时只看调优池 的结果。保留池的结果只在做发版决定时看 ,不拿来调提示词和知识,也不照着保留题改代码。保留题一旦被拿来调过,就挪进调优池,另出新题补进保留池。"
这就是机器学习里 train/test 隔离在 Agent 评测上的翻版,但执行起来更难------因为 Agent 评测调的是提示词和知识,"看过保留题"这个动作本身就构成污染。Mika 的解法是排污即除名 :碰过就挪池。配套地,评测跑的时候默认关掉技能学习和自动记忆(-e learnSkills/memory 默认 off),"分数不受上一轮影响"------连跨轮记忆这种"能力"都为评测的确定性让了位。
六、怎么跑:真实路径、无安全网的明示、不可逆题不跑
评测器是 app/src/androidTest/.../eval/EvalRunTest(androidTest:安卓官方的真机测试框架,测试代码直接跑在连着的手机上),"经 TaskService 的真实路径一题一题地跑"------不是 mock 一条捷径,生产代码怎么跑,评测就怎么跑。跑法细节见仁见智,几条值得注意:
- 价格参数进命令行 :
-e evalPriceIn/Out/Cached <每百万 token 单价>(模型 API 按 token 计费:输入、输出、缓存命中三种价)------评测器已记录每题 token 用量,乘上单价即得成本,汇总报告直接给出"这次评测花了多少钱"; -e evalChannel web|app把同一道题强制走网页或 App,对比两条路线------同一个目标在两条执行路径上各自的成色,这是 GUI Agent 特有的维度;- 无安全网是明示的 :评测是批量自动跑的、没人守着点"同意",所以评测任务全部按自主模式执行------第 4 讲的确认关卡不生效、自动拒绝也不触发。等于 Agent 解开束缚在跑,没有审批层兜底。这个风险 README 里白纸黑字写明("没有安全网"),跑评测的人被提前告知------也正因为没兜底,才有下一条红线;
- 不可逆题默认不跑 :加
-e evalAllowIrreversible true才会真的发消息、删除、下单。题里也只对自己(文件传输助手、仅自己可见)或带标记的数据动手;删除题只删"这道题自己先造出来的带标记数据"。评测不碰用户真实社交关系,这是红线; - 结果落在
eval/<运行名>/:summary.md(含逐题运行小结)、scores.jsonl、metrics.json、每题完整运行记录<id>/run/;结果不提交进仓库,汇总引用时不放回答全文、截图、设备序列号。
七、RunMetrics:不只问成不成,还问贵不贵、快不快
每题跑完记录的观察(Observed)里,都附带一份 RunMetrics(core/record/RunMetrics.kt,architecture.md §13):第一次反馈的时延、和模型来回的次数、token(输入/输出/缓存命中)、时间去向------模型思考 / 读屏 / 操作 / 其他各占多少。开发者选项里还能按最近 10/30/100 次看办成率、时延中位数。
时间去向这个维度值得所有 Agent 团队抄:一个"办成率 90%、但 70% 时间在等模型思考"的 Agent,和一个"80% 时间在真实操作"的 Agent,优化方向完全不同。另外说明一句:题集与评测器里没有 pass@k 一类多次采样指标(pass@k 的意思是"同一题跑 k 次、成一次就算过";全仓库检索无此用法),用的是单次结局 + 核对规则 + 人工改判------对真机评测来说,一次跑几十分钟,多次采样跑不起,这个取舍很现实。
八、人工改判:证据纪律
"评测器只给初判"(README)。人看运行记录后可改判,三条规则原文:
- "没有运行记录里的证据,不改判";
- "不把『没通过』改成『通过』,除非证据表明回答确实对、是核对规则误判"------只许技术性纠错,不许手下留情;
- 失败类别按真实发生的事改,不为单题打补丁 。前半句:没通过的题要归一个失败原因(没看清屏幕、走错路、被拦截......),归类只能按运行记录里真实发生的事来。后半句是禁令:发现某道题总失败,不许为了让它通过而给它单独开后门------比如把核对规则对这道题放宽一点、在代码里写"遇到这种情况就跳过"。分数是上去了,但那是把评测调到"题"上(第五节刚讲过的坑),真实能力一分没涨。要修,就修对所有题都生效的东西------正是下面这条路。
配合第 5 讲的知识体系看这条更清楚:如果改判时发现某道题总在同一个 App 的同一个界面翻车,正确的响应是往知识文件里补一条事实,而不是给这道题开特例。
九、收束:Mika 章的工程哲学
八讲拆完,把散在各讲的共同气质收拢成三句话:
| 哲学 | 本讲体现 | 前几讲呼应 |
|---|---|---|
| 可测优先 | core 不依赖安卓、可在电脑上单元测试;评测走生产真实路径 | 第 1 讲模块分层;前缀稳定性字节级测试 |
| 诚实到边界 | 保留池排污即除名;改判要有证据;impossible 类考"体面地不成" | 第 2 讲"看不出变化≠没点上";第 4 讲应用访问写明挡不住什么 |
| 约束在系统不在提示词 | answer_grounded、confirmation_shows、marker 都是结构性核对 |
审批在 ActionExecutor;知识只写事实;来源系统生成 |
三句话各自的意思:可测优先 ------能写成测试的判断,绝不留在"感觉"里(5 万行 core 能在电脑上跑单测、缓存命中要按字节测);诚实到边界 ------不确定就说不确定,包括承认自己的功能挡不住什么("看不出变化≠没点上"、"结果不明");约束在系统不在提示词------能写进代码拦住的,就不托付给模型的自觉:提示词里的"不要乱编"是嘱咐,会忘、会被网页话术带偏、还没法证明它守住了;系统里的证据核对是制度,绕不过去。
用赛道全景课的三把尺子量一下 Mika(那篇的提法,大意翻译过来):
- 完整任务成功率,还要算上人工接手------不看"单步准确率"这类中间指标,只看"一件事从头到尾办成了没";中途你接手帮忙了,就不算完整办成。Mika 的 128 题正测这个:每道题就是一件完整的事,结局判 Done / Partial / NotPossible;barrier 题还专门考"该交人时交得对不对"------撞上验证码还硬闯,不算办成;
- 省下的管理 − 带来的管理 ------Agent 替你干活省下的时间,减去你伺候它花的时间(看进度、点确认、维护权限和连接器)。净值若是负的,"省时工具"就成了"新宠物"。Mika 把伺候成本压到最小:一个开关、一种同意、没有权限矩阵要维护------这是整个系列课里见过的最小管理面;
- 授权范围与现实行为之间的缝 ------你心里授权的是"帮我点外卖",但它拿着你的登录态,实际能干的远不止这些;产品和用户预期之间的这道缝,是最容易出事的地方。Mika 用两招把缝焊死:付款物理隔离 (支付凭证永远在人手里,模型权限的上限就是"把车开到付款页")和无人在场一律拒绝(问不到人就不做,绝不先斩后奏)。
**这个开源项目把那篇行业分析里的抽象命题,全部做成了代码与测试。**对想做 Agent 的团队,这可能是 Mika 比它的功能更值钱的遗产。
十、课程小结
- 8 类 128 题、一题一个 JSON、真机真实路径单次跑;期望结局四态,impossible/barrier 专门考"体面地不成";
- 核对规则结构性防作弊:answer_grounded 要出处、写类题带 marker 找回、confirmation_shows 考审批卡、asked_user 双向考分寸;
- 调优/保留约七三分池、保留题调过即挪池,不可逆题默认不跑、评测时学习与记忆默认关------评测的反污染与安全纪律;
- RunMetrics 记第一次反馈、来回次数、token、时间去向;没有 pass@k 是真机成本下的现实取舍;
- 人工改判三规则:无证据不改判、只能技术性纠错、不为单题打补丁。
思考题
answer_grounded要求答案在最后几次读屏里出现过。如果任务需要综合两页的信息(A 页价格 × B 页折扣),这条规则会误伤吗?你会怎么扩展它?- Mika 的保留池纪律靠自觉执行("不拿来调提示词")。如果团队里有十个人,怎么用流程或工具把这条纪律变成硬约束?
- 对照你见过的 Agent 评测(SWE-bench、τ-bench......):真机 GUI 评测最难复现的是什么?Mika 用哪些设计(标准 Intent、探针、marker)把"因机而异"压到最小?