Nature Medicine | 谷歌最新医疗Agent 论文 Multimodal AMIE 深度拆解

0. 一句话看懂论文

这篇论文到底做了什么？

Google DeepMind 把原来的医学对话系统 AMIE 升级成了一个能够在问诊过程中主动请求图片/ECG/临床文档、理解它们、根据新证据动态修改鉴别诊断，并继续追问的多模态诊断 Agent，然后用 105 个模拟远程医疗病例与真实全科医生做了随机、盲法 OSCE 式比较。(Nature2)

它最重要的创新是什么？

不是"Gemini 能看医学图片"。

真正重要的是：

把医学对话从一个持续增长的 prompt，重构成了一个显式维护 Patient State + Differential Diagnosis + Knowledge Gaps 的状态机，并通过状态驱动下一步提问、视觉资料请求和阶段转换。

也就是：

Multimodal perception

State tracking

Uncertainty-driven active information gathering

Phase-controlled dialogue

这是这篇论文最值得学的部分。(Nature2)

---

论文定位

属于：

• ✅ 新 Agent / 医疗对话框架
• ✅ 新推理方法
• ✅ 新医学多模态评测方法
• ✅ 新模拟环境
• ✅ 医疗 AI 系统研究
• ⭕ SFT 后训练实验，但不是论文核心
• ❌ 不是一个新视觉 Backbone
• ❌ 不是一个新 LLM Backbone
• ❌ 不是 CT / MRI 三维 VLM
• ❌ 不是一个新基础模型训练工作

---

1. 论文基本信息

项目	内容
论文	Advancing conversational diagnostic AI with multimodal reasoning
arXiv	2505.04653
正式发表	Nature Medicine 2026
作者	Khaled Saab, Chunjong Park, Tim Strother, Jan Freyberg 等
机构	Google DeepMind / Google Research
Base model	Gemini 2.0 Flash
核心系统	Multimodal AMIE
主要场景	远程医疗、文字聊天、多模态附件
多模态输入	皮肤照片、ECG 图像、临床文档
主评测	105 个 OSCE 风格病例
PCP	19 名 board-certified primary care physicians
Patient actor	25 名
Specialist raters	18 名
是否真实临床患者研究	❌
是否前瞻性临床试验	❌
是否真实医院部署	❌
是否 RCT	❌，作者明确称为 exploratory randomized blinded study
代码	❌ 未开源
AMIE 权重	❌ 未开源
Base Gemini	API 可用
部分数据	SCIN、PAD-UFES-20、PTB-XL、ECG-QA 开放
scenario packs	部分可申请

正式论文特别说明，这不是一个预注册、有临床终点的随机临床试验，而是一个探索性 OSCE 风格比较研究。(Nature2)

代码方面也值得注意：作者明确说 Gemini 2.0 Flash 本身可以通过 Google Cloud 使用，但 Multimodal AMIE 的内部实现依赖 Google 内部基础设施，系统代码和完整 prompt 没有公开。(PMC3)

---

2. 为什么需要这篇论文？

2.1 以前的医学 LLM 有什么问题？

过去的大多数 conversational medical AI 实际是在做：

Patient text
   ↓
LLM
   ↓
Question
   ↓
Patient text
   ↓
LLM

即使模型医学知识很强，它获得的依然主要是文字。

问题是现实远程医疗并不是这样。

患者会发：

"My skin looks like this"
        +
       photo

"I took an ECG"
        +
       screenshot

"Here is my lab report"
        +
       PDF/photo

论文指出，皮肤照片、ECG、化验结果和临床文档在远程医疗中本身就是关键证据。(Nature2)

---

3. 以前有哪些路线？

大致可以拆成四类。

路线 A：Text-only medical chatbot

Symptoms
↓
LLM
↓
Question
↓
Diagnosis

问题：

无法直接利用患者上传的视觉证据。

---

路线 B：Image → Diagnosis

Medical image
↓
VLM
↓
Diagnosis

问题：

图像脱离病史。

例如一张皮肤病图片：

Image only:
可能是 dermatitis / psoriasis / tinea

但加入：

2 weeks
itchy
new detergent
no fever

鉴别会明显变化。

论文的 ablation 很直接地证明了：

Images + Dialogue 明显优于 Images-only。

在 SCIN、PAD-UFES-20、PTB-XL 和 Clinical Documents 上基本一致。(Nature2)

---

路线 C：把图片简单塞进聊天上下文

history
+
image
+
history
+
image
+
history
↓
LLM

这是很多现有 VLM Agent 的做法。

问题是：

LLM 未必知道当前问诊究竟进行到哪一步、还缺什么、什么时候应该停止采集信息。

---

路线 D：Multimodal AMIE

作者的逻辑变成：

Dialogue
     ↓
Update Patient State
     ↓
Update DDx
     ↓
Find Knowledge Gaps
     ↓
Do we have enough information?
     ↓
No
 ↓
Ask targeted question
or request artifact
     ↓
Update state

一直循环。

直到：

Enough information
↓
Diagnosis
↓
Management
↓
Follow-up questions

这就是本文。

---

4. Existing Method → Limitation → Insight → Method

论文可以压缩成下面这个逻辑链：

General multimodal LLM
        ↓
已经能够"看图"
        ↓
但诊疗不是一次性 VQA
        ↓
诊疗需要主动收集信息
        ↓
需要知道"现在知道什么 / 不知道什么"
        ↓
显式维护 Patient State + DDx + Knowledge Gaps
        ↓
根据不确定性主动追问 / 请求图片
        ↓
State-aware multimodal dialogue
        ↓
Multimodal AMIE

这比"我们把 Gemini 换成医学版 Gemini"重要得多。

---

5. 核心方法深度拆解

---

5.1 输入到底是什么？

这一点要特别澄清。

Multimodal AMIE 不是一次性接收固定的一组 image tokens。

它的输入是动态增长的完整会话。

可以表示为：

Input at turn t
├── Previous dialogue H1...Ht
├── Patient text
├── Uploaded artifact(s)
│   ├── Skin photo
│   ├── ECG image
│   └── Clinical document
├── Internal patient profile
├── Intermediate DDx
└── Current dialogue phase

其中一个非常重要的区别是：

Artifact 不是系统一开始全部拿到，而可能是 AMIE 自己主动要求患者提供。

例如：

Patient:
"I have a rash."

AMIE:
"Could you upload a photo?"

Patient:
uploads image

AMIE:
analyzes image
↓
updates differential
↓
asks new targeted question

这属于 Active Multimodal Perception。

而不是被动 VQA。

(Nature2)

---

6. 输入规模是多少？

这是你特别关心的问题。

但是这篇论文和 CT/MRI VLM 很不一样。

论文没有报告：

• image patch 数
• visual token 数
• image token compression ratio
• Gemini vision encoder 结构
• projector 结构
• latent tokens
• Perceiver
• Q-Former
• 图像分辨率到 token 的精确映射
• KV cache
• context token 数
• 每次 conversation 的 token budget
• inference FLOPs
• 单 case inference cost

因此这里不能猜。

能确定的是：

Raw artifact
    ↓
Gemini 2.0 Flash multimodal frontend
    ↓
internal visual representation
    ↓
Gemini multimodal reasoning

但中间的：

H × W
↓
patches
↓
N visual tokens
↓
compression
↓
M LLM tokens

论文未报告。

---

7. 对你尤其重要：它不是 CT / MRI long-volume paper

所以你要求的：

原始输入规模
↓
slice sampling
↓
视觉编码
↓
token compression
↓
LLM input

在这篇论文里不能写成类似：

500 slices
↓
64 slices
↓
14×14 tokens
↓
64 latent tokens

因为论文根本没有这种设计。

它处理的是：

• 单张/少量皮肤照片；
• ECG tracing 的图片表示；
• 临床文档截图/照片。

而且论文明确说目前工作还没有覆盖 radiology / pathology 等更复杂模态，把这些作为未来方向。(Nature2)

---

8. 模型整体架构

简化为：

                   ┌──────────────────┐
                   │ Dialogue History │
                   └────────┬─────────┘
                            ↓
                 ┌────────────────────┐
                 │ Update Patient     │
                 │ Internal State     │
                 └────────┬───────────┘
                          ↓
       ┌────────────────────────────────┐
       │ Patient Profile                │
       │ Intermediate DDx               │
       │ Information / Knowledge Gaps  │
       └──────────────┬─────────────────┘
                      ↓
                 Decision
             enough information?
               ↙          ↘
             No            Yes
             ↓              ↓
 Targeted question /     Diagnosis
 Request image           +
             ↓            Management
      Patient response
             ↓
        State update

Base model 是 Gemini 2.0 Flash。(Nature2)

---

9. 最核心的模块：Patient State

这大概是全文最重要的变量。

AMIE 会维护一个不断更新的 patient profile。

论文给出的内容包括：

Patient State
├── Chief complaint
├── History of present illness
├── Demographics
│   ├── age
│   ├── sex
│   └── race
├── Positive symptoms
├── Negative symptoms
├── Past medical history
├── Family history
├── Social / travel history
├── Medications
├── Other relevant information
└── Knowledge gaps

(Nature2)

注意最后一个：

Knowledge gaps

这使 AMIE 不再只是知道：

我知道什么。

而是同时显式知道：

我还不知道什么。

这是 Agent 的核心。

---

10. Intermediate Differential Diagnosis

系统还维护一个内部 DDx：

DDx_t =
{
 diagnosis 1,
 diagnosis 2,
 diagnosis 3,
 ...
}

它不会一开始就把 DDx 全部告诉患者，而是在收集了一些基础信息以后开始内部生成，并在对话过程中反复更新。(Nature2)

例如：

Turn 3:

eczema        high
tinea         medium
psoriasis     medium

        ↓ photo uploaded

Turn 6:

tinea         high
eczema        medium
psoriasis     low

然后 DDx 反过来决定下一步应该问什么。

这就形成了闭环：

Question
↓
Evidence
↓
DDx
↓
Uncertainty
↓
Next question

---

11. Uncertainty-driven questioning

这里也很关键。

作者并没有声明：

P(diagnosis | patient) = calibrated probability

并据此算严格信息增益。

他们实际上用的是：

当前 DDx 和 patient state 中的信息缺口所形成的一种启发式不确定性。

论文特别提醒：

这种 uncertainty：

• 用于指导提问；
• 不展示给患者；
• 不是经过校准的诊断概率。(Nature2)

所以严格意义上，这不是 Bayesian active learning。

更接近：

LLM-estimated information gap
↓
question-generation heuristic

---

12. 三阶段状态机

Multimodal AMIE 的整个对话被强制组织为三个 Phase。

Phase 1：History-taking

目标：

收集足够信息

包括：

• 初始化 patient profile；
• 更新 DDx；
• 判断是否继续；
• 主动请求 artifact；
• targeted questioning。

---

Phase 2：Diagnosis & Management

当系统判断信息足够：

Final DDx
↓
Explain diagnoses
↓
Management plan

---

Phase 3：Follow-up

患者提出：

What does this mean?
Do I need urgent care?
What should I do next?

系统继续回答。

论文的 Figure 6 把这个状态机画得非常清楚。(Nature2)

---

13. 这和普通 CoT 有什么区别？

普通 CoT：

Input
↓
Reason internally
↓
Answer

AMIE：

Input
↓
State update
↓
Action selection
↓
Ask patient
↓
Receive new external evidence
↓
State update
↓
Action
↓
...

因此更准确的说法是：

这是一个带环境交互的 iterative stateful reasoning loop。

它已经比纯 CoT 更接近 Agent。

---

14. memory 是怎么做的？

你要求特别分析 memory。

AMIE 的 memory 主要不是长期用户记忆。

而是当前 episode 内的 working memory。

主要有两部分：

1. Raw dialogue memory

完整 conversation history

2. Structured state memory

Patient Profile
+
Intermediate DDx
+
Knowledge gaps

也就是说：

Raw context memory
       +
Compressed semantic state

这是个非常值得借鉴的设计。

尤其对你做 CT / MRI Agent：

不要只依赖：

500 slices
+
20k words of previous reasoning
+
report

不断塞 context。

更合理的路线就是：

raw evidence
+
structured state

---

15. multimodal artifact 怎么进入 reasoning？

论文流程大致是：

Patient symptom
↓
AMIE decides visual evidence is useful
↓
Request artifact
↓
Patient uploads
↓
Gemini multimodal perception
↓
Artifact findings
↓
Update Patient State
↓
Update DDx
↓
New targeted questions

例如 rash：

"I've got a rash."
       ↓
Need visual evidence?
       ↓ Yes
"Please upload a picture."
       ↓
image
       ↓
visual finding
       ↓
change DDx

甚至可以继续要求：

不同角度 / 更好的光照 / 之前的照片。

论文明确给出这类行为。(Nature2)

---

16. 真正的新东西不是 Vision Encoder

这一点非常重要。

论文并没有提出：

New ViT
New projector
New token compression
New multimodal pretraining loss

相反，作者选择：

Strong pretrained Gemini 2.0 Flash
               +
Inference-time orchestration

论文甚至明确说，他们最终重点选择强大的 general-purpose base model + domain-specific inference-time strategy。(Nature2)

所以论文的贡献更偏：

Harness / inference architecture > backbone architecture

这是现在很多 Agent 工作值得关注的趋势。

---

17. 训练方法

这篇论文核心系统并不是"重新训练一个 multimodal medical LLM"。

主系统：

Gemini 2.0 Flash
       ↓
state-aware reasoning framework
       ↓
Multimodal AMIE

更多属于：

inference-time system design。

---

17.1 是否有 SFT？

有。

作者额外实验了 domain-specific SFT。

训练内容是：

• specialized medical dialogues；
• medical QA data。

但一个非常有价值的结果是：

SFT 并不是全方面提升。

尤其：

ECG diagnostic performance ↑
but
general consultation / management behavior
可能 ↓

作者因此强调 specialization 存在 trade-off。(Nature2)

这个结果和你之前关心的：

"下游训练怎样不损害基础模型泛化能力？"

其实高度相关。

---

18. SFT 的一个非常重要的启示

这是我认为论文里被很多总结忽略的一点：

Base generalist model
            ↓ SFT
specialized perception ↑
            ↓
general clinical reasoning may ↓

也就是说：

医学 SFT 并不是越多越好。

可能出现典型的 specialization tax。

对你们未来 Spine VLM：

不一定要直接把整个 Qwen/Gemini-style model 重度脊柱 SFT。

可以考虑：

Strong general VLM
      +
Spine-specific perception experts
      +
Structured State
      +
Spine-specific harness

再进行有限 SFT。

---

19. 数据集完整拆解

这里一定要区分：

真实 source artifact
≠
OSCE scenario
≠
simulated dialogue
≠
real patient consultation

---

19.1 自动开发 / ablation 数据

Figure 5 中使用：

数据	模态	ablation N
SCIN	皮肤照片	885
PAD-UFES-20	皮肤照片	1,290
PTB-XL	ECG	2,724
Clinical Documents	临床文档	138

(Nature2)

---

19.2 perception benchmark

Extended Data Figure 5 规模更大：

数据	N
SCIN	1,980
PTB-XL	9,432
ECG-QA	41,093
ClinicalDoc-QA	77

(Nature2)

注意：

这是 artifact perception test。

不是完整患者病例数。

---

20. 人类 OSCE 评测数据

真正 headline result 来自：

105 个 case scenarios

由加拿大和印度两个 OSCE 机构共同开发。(Nature2)

artifact 包括：

Skin photographs
ECG tracings
Clinical documents

其中：

• skin 来自 SCIN；
• ECG 来自 PTB-XL；
• clinical documents 由 OSCE 团队制作。(Nature2)

---

21. Patient / Study / Series 层级

因为它不是 radiology study，所以：

项目	本文
Patient 数	不适用传统真实临床患者队列定义
OSCE scenarios	105
Study 数	N/A
Series 数	N/A
Slice 数	N/A
DICOM	不涉及
CT volume	不涉及
MRI volume	不涉及
Hospital 数	并非医院影像 cohort
OSCE 地区	India + Canada
PCP	19
Patient actors	25
Specialist physicians	18

每个 scenario：

same patient actor
       ↓
one consultation with AMIE
+
one consultation with PCP

所以：

105 × 2
=
210 consultations

Figure 2 的诊断准确率分析确实报告 n = 210 conversations。(Nature2)

---

22. 医生资历

19 名 PCP：

board-certified primary care physicians。

地区：

• 10 India
• 9 Canada

PCP 的 post-residency experience：

中位数 6 年，IQR 3.5--11.5 年。

此外：

25 名 patient actors。

18 名独立 specialist：

• dermatology
• cardiology
• internal medicine

来自印度和北美。(Nature2)

这已经是相对不错的人类比较设计。

---

23. 标签 / Ground Truth 是怎么来的？

这是文章一个值得批判的地方。

场景不是简单地拿真实病历直接重放。

而是：

Real artifact
+
metadata
+
expert-created text history
↓
OSCE scenario

作者明确承认：

虽然场景与 artifact 和诊断一致，但无法保证构造出来的病史就是真实患者的真实病史，因为它是 post hoc 创建的。(Nature2)

这是一个非常重要的 limitation。

---

24. 数据泄漏 / contamination 风险

这一点论文自己也承认。

SCIN skin images 和 PTB-XL 原始 ECG 是公开数据，因此：

Gemini 预训练阶段可能已经见过其中部分公开资源。

作者明确提到了这个可能性。(Nature2)

因此不能简单把：

AMIE good performance

解释成：

完全未见病例上的泛化能力

尤其 isolated perception benchmark 更要谨慎。

---

25. 数据增强与低质量输入

这是文章临床上做得不错的一点。

他们不只使用"完美原图"。

对于一部分 ECG 和 clinical document：

直接模拟：

computer screen
↓
smartphone camera
↓
photo
↓
AMIE

也就是说加入现实中的：

• 屏幕拍摄；
• 几何畸变；
• 光照；
• 分辨率下降。

一半的 ECG/document cases 使用这种形式。(Nature2)

这对你们脊柱系统很有启发：

真实低质量数据不应该训练前全删掉。

---

26. 实验 1：AMIE vs PCP

最核心结论：

AMIE 在 top-k differential diagnosis accuracy 上显著优于 PCP。

P < 0.001。(Nature2)

而且不是只看 top-1。

从：

Top-1
Top-2
...
Top-10

AMIE 整体曲线都高于 PCP。

---

27. 实验 2：29 / 32 到底意味着什么？

论文 headline 经常写：

AMIE superior on 29/32 evaluation axes。

这里要谨慎理解。

这不是说：

"AMIE 在 29 个疾病上超过医生。"

而是：

32 个评价维度。

包括：

• history taking
• diagnosis
• management
• communication
• empathy
• multimodal handling

其中 9 个属于专门设计的 MUH multimodal rubric，AMIE 在其中 7/9 有更优表现。(Nature2)

---

28. 实验 3：State-aware reasoning 到底有没有贡献？

这个消融非常关键。

baseline：

Same Gemini 2.0 Flash
+
domain instructions

Ours：

Same Gemini 2.0 Flash
+
state-aware reasoning

所以相对公平。

结果：

Clinical Documents

Top-1

0.89
 ↓
0.98

+0.09

PAD-UFES-20

0.75
 ↓
0.84

+0.09

PTB-XL

0.20
 ↓
0.28

+0.08

(Nature2)

这说明：

提升并不是因为换了更大的模型。

而是来自 inference harness。

这点是论文最有说服力的实验之一。

---

29. 实验 4：Dialogue 是否真的重要？

非常重要。

作者比较：

Images-only

Image
↓
Gemini
↓
Diagnosis

与：

Images + Dialogue

Image
+
History
+
state-aware dialogue
↓
Diagnosis

结果四组数据都明显偏向后者。

特别是 ECG：

Figure 5 中可以直观看到：

Images-only
Top-1 ≈ 0.05

vs

Images + Dialogue
Top-1 ≈ 0.27

差距非常大。(Nature2)

所以这个研究其实告诉我们：

医疗 VLM 的关键不只是视觉模型性能，而是让视觉证据进入正确的临床上下文。

---

30. 实验 5：图像质量下降会怎样？

他们专门分析了：

• High-quality image
• Low-quality image

AMIE 和医生都下降。

这是一个非常重要的 sanity check。

如果图片质量下降，但诊断准确率一点都不下降，那么反而可能说明：

系统根本没真正使用图片。

论文认为 AMIE 和 PCP 都随 image quality 下降，说明视觉 artifact 对病例是有因果意义的，而不是装饰性输入。(Nature2)

---

31. Figure 2 还有一个非常有趣的现象：幻觉

把 cases 按：

No hallucination
Hallucination
Significant hallucination

分组以后：

幻觉严重时，PCP 和 AMIE 都表现下降。

但 AMIE 整体仍高于 PCP。

这其实说明：

"视觉感知错误 → 临床推理错误"

这个链条非常真实。

对于你们将来做 Spine VLM，这对应：

slice misunderstanding
↓
wrong finding
↓
wrong level
↓
wrong report

所以一定要保留 evidence layer。

---

32. 哪个组件贡献最大？

从论文的消融证据看，我会排序：

① Dialogue + history-taking

★★★★★

影响最大。

因为 image-only 到 image+dialogue 的差距非常明显。

---

② State-aware inference architecture

★★★★★

同一个 Gemini 2.0 Flash，加入 state-aware 后有稳定提升。

---

③ Base Gemini multimodal perception

★★★★☆

是必要基础设施。

但不是本文算法创新。

---

④ Medical SFT

★★★☆☆

部分 specialized task 提升，但存在泛化 trade-off。

因此不是核心。

---

33. 论文最关键的四张原图

---

【论文原图】Figure 1：Overall System

打开 Figure 1 原图

图展示了什么

四部分：

a. State-aware AMIE
b. Simulation environment
c. PCP vs AMIE OSCE
d. Overall result

为什么重要

它把整篇论文的三个贡献串起来：

New reasoning system
+
New development simulator
+
Human comparative evaluation

---

【论文原图】Figure 2：AMIE vs PCP

打开 Figure 2 原图

重点看三件事：

左上

AMIE 的 Top-k DDx curve 始终高于 PCP。

右上

低质量图像两边都下降。

下方

AMIE 在：

• multimodal reasoning；
• diagnosis/management；
• history taking；
• patient-centric communication

上总体占优。

---

【论文原图】Figure 5：最重要的消融图

打开 Figure 5 原图

这是我认为全文科研价值最高的一张图。

它证明：

State-aware reasoning > vanilla

Dialogue + image > image-only

也就是说论文创新不是"口头上的 Agent"。

它确实做了组件消融。

---

【论文原图】Figure 6：State Machine

打开 Figure 6 原图

这张图最值得你们自己实现。

核心结构：

History-taking
      ↓
Diagnosis & management
      ↓
Follow-up

每个阶段内部又调用若干次 Gemini。

注意：

一次用户 turn 并不等于一次 model inference。

而可能有：

Update profile
Generate DDx
Decision
Generate next question

多次 model call。

这直接涉及 inference cost。

---

34. Inference Cost 分析

论文没有给美元成本、token 总量或 latency 的精确统计，因此不能造数字。

但从架构可以确定：

普通 VLM

每轮：

1 user turn
≈
1 model call

Multimodal AMIE

一次外部 turn 内可能包含：

Patient profile update
      +
DDx generation
      +
phase-transition decision
      +
question generation

所以：

1 user turn
→ several LLM calls

因此成本大概率显著高于 vanilla chat。

这是 state-aware architecture 最大的工程代价之一。

---

35. 原创辅助图 A：一张图理解论文

【原创辅助图】

<div class="figure">
<svg viewBox="0 0 1200 700" width="1200" height="700"
     xmlns="http://www.w3.org/2000/svg">
<style>
 text{font-family:Inter,"PingFang SC","Microsoft YaHei",Arial}
 .title{font-size:34px;font-weight:700;fill:#17324d}
 .h{font-size:23px;font-weight:700}
 .t{font-size:18px;fill:#334155}
 .box{fill:#fff;stroke:#9fb5c8;stroke-width:2}
 .old{fill:#f8fafc}
 .new{fill:#edf8f6;stroke:#268f83}
 .arrow{stroke:#64748b;stroke-width:3;fill:none}
</style>

<text x="60" y="65" class="title">Multimodal AMIE：核心思想一图看懂</text>

<rect x="70" y="145" rx="20" width="250" height="150" class="box old"/>
<text x="195" y="190" text-anchor="middle" class="h">普通医疗 VLM</text>
<text x="195" y="230" text-anchor="middle" class="t">Image + Prompt</text>
<text x="195" y="263" text-anchor="middle" class="t">→ 一次性回答</text>

<path d="M330 220 L430 220" class="arrow"/>
<polygon points="430,220 414,211 414,229" fill="#64748b"/>

<rect x="450" y="125" rx="20" width="300" height="190" class="box new"/>
<text x="600" y="170" text-anchor="middle" class="h">关键观察</text>
<text x="600" y="210" text-anchor="middle" class="t">诊疗需要不断更新：</text>
<text x="600" y="245" text-anchor="middle" class="t">知道什么 + 不知道什么</text>
<text x="600" y="280" text-anchor="middle" class="t">+ 当前鉴别诊断</text>

<path d="M760 220 L860 220" class="arrow"/>
<polygon points="860,220 844,211 844,229" fill="#64748b"/>

<rect x="880" y="110" rx="20" width="250" height="220" class="box new"/>
<text x="1005" y="155" text-anchor="middle" class="h">Multimodal AMIE</text>
<text x="1005" y="200" text-anchor="middle" class="t">Patient State</text>
<text x="1005" y="235" text-anchor="middle" class="t">+ DDx</text>
<text x="1005" y="270" text-anchor="middle" class="t">+ Knowledge Gaps</text>
<text x="1005" y="305" text-anchor="middle" class="t">→ 主动获取证据</text>

<rect x="210" y="430" rx="18" width="780" height="120" class="box"/>
<text x="600" y="472" text-anchor="middle" class="h">
不是"让 Gemini 看图"，而是"让 Gemini 按临床状态行动"
</text>
<text x="600" y="515" text-anchor="middle" class="t">
Perception → State Update → Action → New Evidence → State Update
</text>
</svg>
</div>
<style>
.figure{background:#fff;padding:24px;max-width:1200px}
</style>

---

36. 原创辅助图 B：State-aware Agent Loop

【原创辅助图】

<div class="figure">
<svg viewBox="0 0 1200 700" xmlns="http://www.w3.org/2000/svg">
<style>
text{font-family:Inter,"PingFang SC","Microsoft YaHei";fill:#243b53}
.h{font-size:25px;font-weight:700}
.t{font-size:18px}
.b{fill:#fff;stroke:#83a6ba;stroke-width:2}
.s{fill:#eef8f6;stroke:#298b80;stroke-width:2}
.a{stroke:#607d8b;stroke-width:3;fill:none}
</style>

<text x="60" y="60" class="h">Multimodal AMIE：状态驱动推理循环</text>

<rect x="80" y="150" width="210" height="95" rx="18" class="b"/>
<text x="185" y="190" text-anchor="middle" class="h">Patient</text>
<text x="185" y="220" text-anchor="middle" class="t">Text / Image / ECG</text>

<rect x="390" y="110" width="360" height="190" rx="20" class="s"/>
<text x="570" y="150" text-anchor="middle" class="h">Internal State</text>
<text x="570" y="190" text-anchor="middle" class="t">Patient Profile</text>
<text x="570" y="225" text-anchor="middle" class="t">Intermediate DDx</text>
<text x="570" y="260" text-anchor="middle" class="t">Knowledge Gaps</text>

<rect x="860" y="150" width="250" height="95" rx="18" class="b"/>
<text x="985" y="190" text-anchor="middle" class="h">Action</text>
<text x="985" y="220" text-anchor="middle" class="t">Ask / Request / Explain</text>

<path d="M290 198 L380 198" class="a"/>
<polygon points="380,198 363,189 363,207" fill="#607d8b"/>

<path d="M750 198 L850 198" class="a"/>
<polygon points="850,198 833,189 833,207" fill="#607d8b"/>

<path d="M985 255 C985 430 180 430 180 255" class="a"/>
<polygon points="180,255 171,272 189,272" fill="#607d8b"/>

<rect x="230" y="500" width="740" height="90" rx="20" class="b"/>
<text x="600" y="540" text-anchor="middle" class="h">核心：外部世界不断给模型新的证据</text>
<text x="600" y="572" text-anchor="middle" class="t">
所以医学 Agent 不是 static inference，而是 sequential decision making
</text>
</svg>
</div>
<style>.figure{background:white;padding:20px}</style>

---

37. 原创辅助图 C：Images-only vs AMIE

【原创辅助图】

<div class="figure">
<svg viewBox="0 0 1200 700" xmlns="http://www.w3.org/2000/svg">
<style>
text{font-family:Inter,"PingFang SC","Microsoft YaHei";fill:#25364a}
.h{font-size:27px;font-weight:700}
.t{font-size:19px}
.box{fill:#fff;stroke:#a8b7c5;stroke-width:2}
.amie{fill:#eef8f6;stroke:#2a8e82;stroke-width:2}
.arrow{stroke:#6b7f8d;stroke-width:3}
</style>

<text x="60" y="65" class="h">为什么"Image + Dialogue"比 Image-only 更强？</text>

<text x="260" y="130" text-anchor="middle" class="h">Image-only</text>

<rect x="110" y="170" width="300" height="90" rx="18" class="box"/>
<text x="260" y="225" text-anchor="middle" class="t">Artifact</text>

<line x1="260" y1="260" x2="260" y2="330" class="arrow"/>
<rect x="110" y="330" width="300" height="90" rx="18" class="box"/>
<text x="260" y="385" text-anchor="middle" class="t">Diagnosis</text>

<text x="840" y="130" text-anchor="middle" class="h">Multimodal AMIE</text>

<rect x="690" y="165" width="300" height="75" rx="18" class="amie"/>
<text x="840" y="212" text-anchor="middle" class="t">Symptoms / History</text>

<line x1="840" y1="240" x2="840" y2="290" class="arrow"/>

<rect x="690" y="290" width="300" height="75" rx="18" class="amie"/>
<text x="840" y="337" text-anchor="middle" class="t">Request Artifact</text>

<line x1="840" y1="365" x2="840" y2="415" class="arrow"/>

<rect x="690" y="415" width="300" height="75" rx="18" class="amie"/>
<text x="840" y="462" text-anchor="middle" class="t">Artifact + Context</text>

<line x1="840" y1="490" x2="840" y2="540" class="arrow"/>

<rect x="690" y="540" width="300" height="75" rx="18" class="amie"/>
<text x="840" y="587" text-anchor="middle" class="t">Context-aware Diagnosis</text>

<text x="260" y="485" text-anchor="middle" class="t">缺少：为什么拍？</text>
<text x="260" y="520" text-anchor="middle" class="t">出现多久？症状如何？</text>
<text x="260" y="555" text-anchor="middle" class="t">什么证据仍然缺失？</text>
</svg>
</div>
<style>.figure{background:#fff;padding:20px}</style>

---

38. 原创辅助图 D：对你们 Spine Agent 最重要的迁移

【原创辅助图】

<div class="figure">
<svg viewBox="0 0 1400 800" xmlns="http://www.w3.org/2000/svg">
<style>
text{font-family:Inter,"PingFang SC","Microsoft YaHei";fill:#22374c}
.h{font-size:28px;font-weight:700}
.t{font-size:18px}
.box{fill:#fff;stroke:#a5b8c8;stroke-width:2}
.core{fill:#edf8f6;stroke:#278c80;stroke-width:2}
.a{stroke:#607d8b;stroke-width:3}
</style>

<text x="60" y="60" class="h">从 Multimodal AMIE 到 Spine Agent</text>

<rect x="70" y="145" width="220" height="105" rx="20" class="box"/>
<text x="180" y="185" text-anchor="middle" class="h">Study</text>
<text x="180" y="220" text-anchor="middle" class="t">CT / MRI / X-ray</text>

<line x1="290" y1="198" x2="370" y2="198" class="a"/>

<rect x="380" y="110" width="270" height="180" rx="20" class="core"/>
<text x="515" y="150" text-anchor="middle" class="h">Perception Experts</text>
<text x="515" y="190" text-anchor="middle" class="t">Series routing</text>
<text x="515" y="220" text-anchor="middle" class="t">Vertebra labeling</text>
<text x="515" y="250" text-anchor="middle" class="t">Segmentation / measurement</text>

<line x1="650" y1="198" x2="730" y2="198" class="a"/>

<rect x="740" y="100" width="300" height="200" rx="20" class="core"/>
<text x="890" y="145" text-anchor="middle" class="h">Spine Patient State</text>
<text x="890" y="185" text-anchor="middle" class="t">Known findings</text>
<text x="890" y="218" text-anchor="middle" class="t">Uncertain findings</text>
<text x="890" y="251" text-anchor="middle" class="t">Missing evidence</text>
<text x="890" y="284" text-anchor="middle" class="t">Possible diagnoses</text>

<line x1="1040" y1="198" x2="1120" y2="198" class="a"/>

<rect x="1130" y="130" width="220" height="135" rx="20" class="box"/>
<text x="1240" y="175" text-anchor="middle" class="h">Agent Action</text>
<text x="1240" y="212" text-anchor="middle" class="t">Inspect slice</text>
<text x="1240" y="242" text-anchor="middle" class="t">Call tool / Ask human</text>

<rect x="255" y="470" width="890" height="155" rx="24" class="box"/>
<text x="700" y="515" text-anchor="middle" class="h">
AMIE 最值得迁移的不是医学知识，而是"显式状态"
</text>
<text x="700" y="555" text-anchor="middle" class="t">
Patient Profile → Spine Study State
</text>
<text x="700" y="590" text-anchor="middle" class="t">
Knowledge Gaps → Missing / Uncertain imaging evidence
</text>
</svg>
</div>
<style>.figure{background:white;padding:20px}</style>

---

39. 作者真正贡献了什么？

我的判断：

Contribution 1：State-aware medical dialogue architecture

真正新。

核心创新度：

★★★★★

它不是简单 prompt engineering，而是把 LLM 包装成：

explicit state
+
phase controller
+
action loop

---

Contribution 2：Multimodal active information gathering

很重要。

不是：

"给我图，我回答"。

而是：

"根据当前诊断不确定性判断什么时候需要图，以及需要什么图。"

这非常接近医生行为。

★★★★★

---

Contribution 3：Simulation environment

工程和方法学价值很高。

Scenario generator
↓
Patient agent
↓
Doctor agent
↓
Auto-rater

使他们不用每次改系统都重新找几十位医生做实验。

★★★★☆

---

Contribution 4：高质量 human comparison

105 scenarios、19 PCP、25 patient actors、18 specialists。

在医学 Agent 领域算非常强的评测设计。

★★★★☆