我没有凑到 100 道题:一个 Agent 评测集的取舍

我没有凑到 100 道题:一个 Agent 评测集的取舍

项目 FinTrace(可审计的财报研究 Agent)。这篇记录评测集从 30 题长到 70 题的过程, 以及为什么我最后停在 70,而不是设计文档里写的 100。 仓库 github.com/evinyang-zw... · 终版报告 github.com/evinyang-zw...

终版结果先摆在这里 :70 题 = 60 道开发集 + 10 道一次性 holdout。开发集 60 题 × 4 个 seed(n=240)正确率 99.0% (95% CI 97.6, 100),holdout 95.0%(n=20,CI 85.0, 100.0)。

一、起点:30 题,6 类,先跑通

第一周我不写 Agent,只做两件事:把数据喂进去,把尺子造出来。

30 道金标题,6 类各 5 道:单点事实、多跳、数值计算、跨公司对比、不可答、对抗样本。

每道题必须满足五条才能入库:

  1. 答案唯一(能由 XBRL fact 或一段原文唯一确定);
  2. 时间明确(有 as_of,不受之后披露影响);
  3. 不靠常识(优先选模型知识截止之后的财年);
  4. 有陷阱(错误答案看起来合理);
  5. 能归因(答错了,能说出是哪一层的问题)。

第 5 条最狠:写不出归因的题,是废题。

二、30 → 45:扩题不是因为"想更好看"

W2 基线出来的时候,20 道计分题正确率 95%,看起来很好。拆开看:

  • 15 道有 XBRL 数字的题几乎满分;
  • 5 道多跳检索题实质 0/5------2 道拒答,3 道关键点覆盖 0.48 / 0.54 / 0.61。

总分在撒谎。 尺子量的是"工具接线",不是"多跳推理"。

所以 W3 扩到 45 题,重点补 F2(多跳 5→15)和 C2(对比 5→10)。扩题的判断标准只有一个: 新增的题要能暴露旧题集看不见的失败。

三、45 → 50:引用陷阱

W4 加了 5 道"引用陷阱"题:答案对,但数字只出现在 Item 8,Item 7 只做定性讨论。 引错段落不会被数值判分抓住,只会被引用校验抓住。

这类题的价值不在于"难",而在于它验证的是校验器,不是模型。

四、50 → 70:设计说 100,我停在了 70

主设计写的是 100 题(含 20 道 holdout)。到 W5 结束,实际是 50 题。

按时间算一笔账:

方案 新增题 出题耗时 留给叙事的时间 结论
100 题 +50 6--7h 13h,但报告/README/文章/视频 必然砍视频或文章
70 题 +20 2.5--3h 17h 能做
60 题 +10 1.5h 18.5h 最松,但 holdout 太薄

设计文档自己留了退路:"如果 W5 结束只到 60 题,就按 60 题出终版报告......每类不少于 8 题是底线。"

到 W6 时,C1 / A1 / R1 各只有 5 题,连底线都没到。所以最后的分配是:

  • 60 道开发集:50 + 10 道补短板(C1/A1/R1 各 +3,C2 +1),每类 ≥8;
  • 10 道 holdout:全部出在 F2 / C2,W4 唯一会掉分的两类。

合计 70。

为什么 holdout 只放 F2/C2? C1/A1/R1 已经接近满分,拿它们做 holdout 只会得到"又考了 100%",没有信息量。要测就测会错的地方。

五、holdout 的纪律,和一次真实的翻车

10 道 holdout 的流程是:

  1. 写完只跑数据校验(q-check:schema、XBRL 对账、引用存在性),不跑模型;
  2. 先跑开发集 4 个 seed,所有 bug 和 prompt 调整都在开发集上做;
  3. 开发集稳定后打 tag v1.0-final;
  4. 才跑 holdout(2 个 seed 算一轮);
  5. 跑完不许改代码再跑。如果必须改,这条 holdout 作废,并在报告里写明"已失效"。

为什么这么麻烦?因为 holdout 唯一的价值就是"模型没见过的题"。一旦看了结果再去调 prompt, 它就变成了开发集,只是名字好听。

第一次跑就翻车了。 正确率 100%,但数值准确率只有 40%。看起来像模型在没见过的题上崩了。

查下去发现不是:三道 C2 的答案 0.63 / 0.39 / 0.25 都是题目要求的两位小数,但判分器的 0.5% 相对容差把它们判错了------0.25 相对 0.25357 差 1.4%。是尺子的问题,不是模型的问题。

我按事先写好的规则处理:第一次 holdout 作废 。只改判分器(按题目要求的小数位给绝对容差), agent 代码一行没动(v1.0-final → v1.0.1 的 diff 只有 eval/graders.py 和测试),然后重跑一次。

这件事让我更相信 holdout:它不只测模型,也测尺子。

六、报告里必须分开的三个数

口径 题数 能不能和 W4 的 50 题基线直接比
50 题子集(旧题) 50 ✅ 同题,可配对比较
60 题开发集 60 ❌ 题变了,只能描述
10 题 holdout 10 ❌ 只跑过一次

50 题子集不单独跑,从 60 题开发集结果里按 id 抽出来。同一次运行、同一批答案,才叫配对。

七、判官也要被审判

评测集变大的同时,判官本身被校准了两次:

  • 初版 rubric(w3.0):60 条盲标,二次加权 κ = 0.603;
  • 只改规则、人标一行不动:κ = 0.795,完全一致率 90%;
  • 引用校验器另做 30 条 claim 盲标:一致率 86.7%,κ = 0.634。

κ 0.795 不算完美,但足够回答"这个判官能不能用来比两次运行"。剩下 6 条分歧里 3 条是 题目措辞歧义------继续为它们调 prompt 就是在 60 条样本上过拟合,所以我停手,并在报告头 固定写 judge_kappa=0.795。

八、止步 70 的代价,我认

终版报告写清楚了:

  • 开发集 60 题 × 4 seed:99.0%(CI 97.6, 100);同题 50 子集 98.9%,与 W4 的 95.0% 可对照;
  • holdout 10 题 × 2 seed:95.0%(CI 85.0, 100.0);10 题里 9 题两次都对,唯一失败是亚马逊分部表的一题被拒答一次;
  • 表格类多跳仍是弱点;
  • 10 道 holdout 只能看方向,给不出稳定区间;开发集分数也不是分布外准确率;
  • "100 题"这个数字没有了。

但换来的是:4 个 seed 的开发集、一次性的 holdout、70 道题都能追溯到 XBRL 或原文、 以及一版没有注水的 README。

评测集的敌人不是"题少",是"题多到没人能逐题解释为什么这么出"。

九、复现

bash 复制代码
make q-check                              # 70 题数据校验(schema + XBRL 对账 + 引用存在性)
make eval AGENT=graph JUDGE=llm           # 开发集 60 题(默认 gold_v3)
make eval AGENT=graph JUDGE=llm ARGS="--tags holdout"   # 一次性终测

(引用校验是怎么从结构口径 92%、语义口径 56.1% 做到 98.4% 的,见另一篇《从 56% 到 95%》。)

相关推荐
泯泷1 小时前
AI Agent 工具设计:能执行任务的 Agent,先要学会何时停手
llm·agent
威哥爱编程3 小时前
模拟面试智能体开发实战 09:把面试官装进手机,鸿蒙端聊天界面用 SSE 流式输出让回复逐字滚出来
python·agent·harmonyos
威哥爱编程3 小时前
模拟面试智能体开发实战 10:配置写死在代码里还怎么换服务端,把设置和简历做成界面可配、可存
python·agent·harmonyos
AI-Frontiers4 小时前
从RAG到知识图谱再到Agent工作流,中间还差一层本体论
agent·rag
效率工作实验室4 小时前
企业智能数据分析工具选购攻略:从需求梳理到方案落地的完整指南
数据分析·agent·选型·企业数据分析工具怎么选·数据分析工具选购指南
泯泷13 小时前
AI Agent 工具设计:接了上百个工具,为什么反而更难干活?
llm·agent
岁月宁静14 小时前
DeepSeek Harness 实战与架构解析:让 Agent 从“会聊”到“能交付”
人工智能·python·agent
泯泷15 小时前
AI Agent 工具设计:读完一百页 PDF,不等于真的看懂了
人工智能·llm·agent
用户369594537382918 小时前
基于LLM 智能客服系列之系列三一条消息的流水线
agent