HealthBench
设计动机
1.其他旧bench只能证明答案对了，但范围窄、不代表实际 workflow，而且已经趋于饱和
2.一个 reference answer 不足以评价长回答，需要拆分成更细的多个评价指标
3.旧bench只能回答A模型比B模型强，但没有具体的归因和边界探索
具体工作
1.输入单轮/多轮对话，输出完整的回复（并非平均十几轮的长对话，大多还是短几轮）
2.每题 2--48 个行为标准，满足拿全部分（可负），不满足拿0分（不做reference-answer matching，而是判断一组应该出现/不应该出现的行为）
总体指标在五个维度：
Axis 数量占比 测什么 Completeness 39% 应该包含的信息有没有遗漏 Accuracy 33% 医学事实是否正确 Context awareness 16% 是否理解用户环境、角色，是否该追问 Communication quality 8% 清晰度、结构、语言难度是否合适 Instruction following 4% 是否按格式/任务要求完成 3.对话场景
| Theme | 数量 | 比例 | 核心能力 |
| Global health | 1,097 | 21.9% | 地区/资源/疾病谱适配 |
| Responding under uncertainty | 1,071 | 21.4% | 不确定性表达和处理 |
| Expertise-tailored communication | 919 | 18.4% | 对医生/普通用户调整表达 |
| Context seeking | 594 | 11.9% | 是否知道需要补充什么信息 |
| Emergency referrals | 482 | 9.6% | 是否正确进行急诊升级 |
| Health data tasks | 477 | 9.5% | clinical data/documentation 类任务 |
Response depth 360 7.2% 回答长度/深度是否恰当 4.数据来源
从医生设计场景、故意问LLM容易犯错的问题、互联网高频搜索问题等地方，让LLM生成场景conversation
5.防止模型快速饱和bench，用多个先进模型评测，筛出比较hard的题目
6.worst-at-k对同一问题采样多次，把其中最差的一条回答作为这组结果，然后算整体 benchmark score，避免模型偶尔出现危险答案
可能的缺点
1.每条rubric只有met / not met，太粗粒度了
2.每条 conversation 在最终平均里基本等权，但这意味着"回答感冒常识不够完整"和"漏掉急性心梗 emergency referral"的严重度无法被很好区分
3.39% criterion 都是 completeness，会让写得多的模型（例如o3）得到更多分
4.虽然说自己有多轮对话的输入，但实际上还是让大模型看对话，最后生成下一条response，无法测评"模型追问了正确问题以后，下一轮会不会用好用户答案？"
5.没做EHR这些更真实的医疗方向
MedAgentBench
设计动机
真正有应用价值的 AI 应该从 chatbot 走向 agent
clinician 给一个高层目标 → agent 自己规划 → 调 EHR/FHIR API → 查/改病历 → 返回任务执行结果
具体工作
1.多轮、条件化 tool trajectory
2.使用FHIR作为环境接口，方便与真实世界的EHR对接
3.病理背景是来源于真实的患者
4.把与患者提问相关的系统信息放到context中，而不是随着query一起给出，更模拟真实系统
5.七大类任务
| broad category | 一个典型任务 |
| Patient information retrieval | 根据姓名+DOB 找 MRN |
| Lab result retrieval | 查过去 24h 最新 Mg |
| Patient data aggregation | 算过去 24h 平均血糖 |
| Recording patient data | 写入 BP 118/77 |
| Test ordering | 查 HbA1c，如果 >1 年则重新下单 |
| Referral ordering | 开 orthopedics referral，并填写文本 |
Medication ordering 查 K，按规则算补钾剂量并开药 6.9个FHIR functions，每个agent必须严格输出GET（从EHR中查询病历）、POST（向EHR写东西）、finish（任务做完，答案提交）之一
可能的缺点
1.一个agent可能调用正确的tool得到了正确回答，但因为输出格式问题拿0分
2.比起真实的EHR场景少了很多功能和信息
3.由于FHIR环境启动很久，如果真的执行了POST会修改EHR的信息，导致每题需要重置环境。因此agent做出POST动作后，只是去验证一下它发的json格式和内容符合吗