💡 一句话总结：生产环境的 AI agent 天天在改，评测就得天天跑------但每次全量跑 500 多题的基准既烧钱又拖慢迭代。Meta 用 574 次真实评测数据系统对比了四种「少跑点题」的方案：学界流行的自适应测试确实最准，但他们最终部署了更朴素的「难度分层固定子集」------因为运维简单、跨 agent 通用。这份「承认简单方案赢在工程」的报告，比方法本身更值钱。
导语：评测债，生产 agent 的隐形税
生产环境的 LLM agent 永远在演化：prompt 微调、模型升级、工具变更------每次改动都该重新评测。但全量基准（几百道题、每题都要真实执行）又贵又慢：跑一次几小时、烧掉真金白银的 API 费，还拖慢迭代节奏。
于是评测被「省着跑」：凭感觉抽几十道题、或者干脆隔几周跑一次全量------评测结果的可靠性悄悄劣化，这就是「评测债」。
Meta 的研究者手里有一个服务数万月活用户的生产分析 agent，和宝贵的 574 次历史全量评测运行 。他们用这些数据回答了一个所有生产团队都关心的问题：少跑题，能省多少？代价多大？哪种省法最好？
想看原文？
- 📄 论文：arXiv 2609.21267
它的思路是什么？
- 🔬 历史数据回放选方法：把 574 次运行按时间切成校准期与留出期，用回放公平比较四种方案------随机抽样、历史缓存、固定代表子集、基于 IRT（教育测量学的项目反应理论）的自适应测试
- 🎯 自适应测试最准 ：多维 2PL 自适应测试（按题目难度与区分度动态选题）只执行 38.5% 的题，全量分数估计误差仅 1.03 个百分点------学术上的最优解
- 🛠️ 但部署选择了固定子集：难度分层的固定题集------运维极简（不用在线调整选题）、可跨 agent 免校准复用、校准窗口短至 1 天也稳定
效果到底怎么样？
- 📊 四方案的精度-成本曲线完整公开：小预算（100 题）时固定子集领先；预算上去（200 题起）自适应反超------不同预算段各有最优解
- 🔁 固定子集的迁移性实测 ：同一套题集免再校准直接用于另外 5 个 agent 家族，依然稳定------「一套题评所有 agent」的工程红利
- 📋 落地建议清单：保留至少 80% 有效作答的评测运行、按难度分层选子集、校准窗口可以很短------全是可直接执行的操作项
为什么你要关心？
- 💰 评测成本可以砍 60%+ 而不牺牲可靠性：任何「反复评测演化中系统」的团队（agent、模型、检索管线）都该停止全量重跑
- ⚖️ 「最准的方法」≠「该部署的方法」：自适应测试赢在精度，固定子集赢在运维------生产决策的天平上，可运维性的权重常被低估；这篇的取舍理由写得极其诚实
- 🔬 「历史运行回放」是评测研究的免费实验场：你已经积累的历史评测数据本身就是方法对比的实验床------先回放再上线，别拿生产环境当实验室
理性看待
冷静看三点：研究对象是单一类型的分析 agent，519 题的基准也非巨型；IRT 的题目参数估计在题库变动频繁时需要维护；「1 个百分点误差」的容忍度因业务而异（安全关键场景可能不适用）。但这份报告示范了生产工程研究的正确姿态：用真实数据比较所有候选，选择时把运维成本放进天平，并把「为什么没选最学术的方法」坦白写出来。