nine｜践行一人公司
正在记录从 0 到 1 的踩坑与突破，交付想法到产品的全过程。
AI评测非单一分数比拼，而是多维度、多方法的系统工程。其核心框架可拆解为基础维度、主流基准与关键方法，共同构成模型能力的"CT扫描"系统。
一、评测的三大基础维度
- 参照源：分参考式（有标准答案，如准确率、BLEU）与非参考式（依赖判官或规则，如人类偏好、单元测试）。
- 交互模式：覆盖静态单轮问答、多轮对话、工具调用、长上下文处理等全场景。
- 评分粒度：从选择题准确率到思维链质量，再到系统延迟/成本，形成多层级指标网。
graph TD
A[评测基础维度] --> B[参照源
参考式/非参考式] A --> C[交互模式
静态/多轮/工具调用] A --> D[评分粒度
结果/过程/系统指标]
参考式/非参考式] A --> C[交互模式
静态/多轮/工具调用] A --> D[评分粒度
结果/过程/系统指标]
二、主流基准与核心指标
- 通用能力：MMLU（57学科准确率）、HellaSwag（常识推理）为标杆，需控制数据泄漏与温度参数。
- 专业领域：数学看GSM8K（思维链准确率）、MATH（竞赛题通过率）；代码测HumanEval（pass@k单元测试通过率）、SWE-bench（issue修复率）。
- 安全与效率：TruthfulQA（事实性正确率）、ToxiGen（有害内容拒答率）；系统指标含延迟（TTFT/p95）、成本（$/1k tok）。
- 多模态：MMMU（图文理解准确率）、DocVQA（文档问答）需兼顾OCR质量与跨模态一致性。
三、关键方法与实践要点
- 人类偏好评测：Chatbot Arena的双盲成对比较+Elo评分（R'=R+K(S-E)）为黄金标准，需规避位置/冗长偏见。
- AI辅助评测：GPT-4等LLM-as-a-Judge与人类一致性达80%+，但需校准冗长偏好与自偏误。
- 统计设计：固定seed、控制算力公平（同self-consistency样本数）、报告95%置信区间，杜绝数据泄漏（时间切分/去重）。
AI评测的核心是"场景匹配"：通用能力看MMLU+人类偏好，代码能力信SWE-bench+pass@k，安全侧重拒答率与校准度。唯有多维指标联动，才能勾勒模型真实能力画像。