“顶会”看安全（十九）：医疗 AI 中的差异化隐私风险

这期解读的论文来自顶级期刊 Nature 2026  ，论文题目是 Disparate privacy risks from medical AI ，中文可以译为医疗 AI 中的差异化隐私风险 。论文链接可看 https://www.nature.com/articles/s41586-026-10688-0

一、论文背景

1. 医疗 AI 的训练数据本身具有高度敏感性

医疗 AI 的一个重要价值，是通过大量医学数据训练模型，实现疾病筛查、辅助诊断和风险预测。

例如模型可能使用：

胸部 X 光片；
乳腺影像；
眼底图像；
心电图；
急诊电子病历；
患者人口统计信息。

问题在于，这些数据天然包含高度敏感的个人医疗信息。

当医疗 AI 被部署为在线预测服务后，用户通常只需要提交一条输入，就能够获得模型的预测结果。例如输入一张胸片，模型返回：

Plain 复制代码

肺炎概率：78%

看起来，攻击者既拿不到模型参数，也拿不到训练数据。

但论文指出：

仅仅观察模型的预测结果，有时就已经足以推断训练数据中的信息。

攻击者甚至可能只是一个普通的模型用户。

2. 什么是 Membership Inference Attack？

论文重点研究的是 Membership Inference Attack，成员推断攻击，简称 MIA。

它要解决的问题非常简单：

某个人的数据，究竟有没有参与这个模型的训练？

假设医院训练了一个癌症治疗效果预测模型。

攻击者现在掌握了患者 Alice 的部分医疗数据，并能够访问模型接口。

攻击者想知道：

Plain 复制代码

Alice的数据
      ↓
提交给模型
      ↓
观察预测置信度
      ↓
Alice是否属于训练集？

如果能够可靠判断 Alice 属于训练集，那么在某些场景下，"属于训练集"这个事实本身就可能泄露敏感信息。

例如论文举出的情况是：

如果一个模型专门使用癌症患者的数据训练，那么攻击者成功推断：

Plain 复制代码

Alice ∈ 该模型训练集

某种程度上就等价于推断：

Plain 复制代码

Alice可能患有癌症

因此，MIA 泄露的不一定是完整病历，而可能是一个人的数据是否存在于某个敏感人群数据集中。

3. MIA 为什么能够实现？

其中一个重要原因是：

模型往往对自己"见过的数据"和"没有见过的数据"表现出略微不同的置信度分布。

假设对于同一类样本：

Plain 复制代码

训练过的患者数据 → 模型置信度通常略高
没有训练过的数据 → 模型置信度略低

单看一次预测，这个差异可能并不明显。

但如果攻击者能够建立：

Plain 复制代码

P(模型输出 | 样本属于训练集)


P(模型输出 | 样本不属于训练集)

两种概率分布，就可以把成员推断转换成一个统计假设检验问题。

论文使用的 Likelihood-Ratio MIA，也就是 LR-MIA，基本思路就是比较：

Plain 复制代码

H0：患者数据不在训练集


H1：患者数据在训练集

然后根据目标模型输出的置信度，判断哪个假设更可能成立。

4. 过去的隐私评估存在一个关键问题：看的是"平均风险"

这其实是整篇论文最重要的切入点。

传统 MIA 评估通常会训练一个目标模型，然后把大量训练集成员和非成员混合起来：

Plain 复制代码

10000 个成员样本
+
10000 个非成员样本
        ↓
进行成员推断
        ↓
画 ROC 曲线
        ↓
计算一个整体 AUC

例如得到：

Plain 复制代码

MIA AUC = 0.52

由于随机猜测大约是：

Plain 复制代码

AUC = 0.50

于是研究人员很容易得出：

"这个模型似乎没有明显的成员推断风险。"

但这里存在一个严重的问题。

假设 10,000 名患者中：

Plain 复制代码

9,900人 → 攻击基本无效
100人    → 攻击准确率接近100%

把所有人平均以后，整体攻击效果仍然可能看起来非常差。

但站在那 100 名患者的角度，他们面对的隐私风险却极高。

论文第 2 页的 Figure 1 专门展示了这种区别：传统方法是在一个模型上跨大量记录计算总体攻击成功率，而作者的方法则针对每条记录，在大量不同目标模型之间独立测量攻击效果。

所以论文真正质疑的是：

隐私风险真的应该用"平均患者"来衡量吗？

5. 医疗场景进一步放大了这个问题

普通机器学习数据通常可以把：

Plain 复制代码

一条记录 ≈ 一个用户

但医疗数据不是这样。

一个患者可能贡献：

多张胸片；
多次急诊记录；
多次心电图；
不同日期的医学影像；
多次检查结果。

因此真实关系更接近：

Plain 复制代码

Patient A
 ├── Record 1
 ├── Record 2
 ├── Record 3
 └── Record 4

只要攻击者能够成功判断其中任意一条记录属于训练集，患者级的 membership 就可能已经被暴露。

因此作者提出：

医疗 AI 的隐私审计不能只做到 Dataset Level，甚至不能只做到 Record Level，而应该进一步做到 Patient Level。

作者最终把患者风险定义为：

Plain 复制代码

Patient-level MIA Risk
=
该患者所有记录中最高的 Record-level MIA Risk

因为从攻击者角度来看，攻击成功一次就已经足够。

二、论文方法概述

整篇论文的方法实际上可以概括成一条非常清晰的研究链路：

Plain 复制代码

传统整体MIA评估
        ↓
构建Patient-level MIA评估方法
        ↓
在7类真实医疗数据上测试
        ↓
验证真实攻击可行性
        ↓
研究模型规模是否影响风险
        ↓
研究不同患者群体风险是否不同
        ↓
测试Differential Privacy能否缓解

论文采用了 7 个医疗数据集，覆盖了影像、心电信号以及电子健康记录等不同模态。

|-----------------|-----------|----------------|
| 数据集 | 医疗数据 | 主要任务 |
| CheXpert | 胸部 X 光片 | 胸部疾病识别 |
| MIMIC-CXR | 胸部 X 光片 | 多种胸部疾病识别 |
| Fitzpatrick 17k | 皮肤图像 | 皮肤病/肿瘤分类 |
| FairVision | 眼底图像 | DR、青光眼、AMD 等分类 |
| EMBED | 乳腺影像 | BI-RADS 乳腺密度分类 |
| PTB-XL | 12 导联 ECG | 心脏疾病多标签分类 |
| MIMIC-IV-ED | 急诊电子健康记录 | 是否住院预测 |

其中 EMBED 最终分析的影像达到 360,159 张，来自 19,429 名患者；PTB-XL 包含 21,799 条心电图；MIMIC-IV-ED 包含 418,007 条急诊记录、涉及 201,213 名患者。

第一阶段：把 MIA 从总体评估改造成患者级评估

这是论文最核心的方法创新。

作者没有只训练一个目标模型，而是针对每个数据集训练：

N = 200 个目标模型。

每个模型随机选择一部分患者进行训练，大致使用约 50% 的患者数据。

对于患者的一条记录 (x)，有些模型训练过这条数据：

Plain 复制代码

Model 1：见过x
Model 2：见过x
Model 3：没见过x
Model 4：没见过x
......

于是作者可以分别得到：

Plain 复制代码

模型训练过x时的置信度分布


模型没有训练过x时的置信度分布

然后在 LR-MIA 的高斯分布假设下计算这两种分布之间的 bi-normal AUC。

AUC 越接近 1：

Plain 复制代码

攻击者越容易区分
"模型见过这条数据"
和
"模型没有见过这条数据"

也就代表这条记录的隐私风险越高。

这里还有一个非常关键的实验设计：

训练集必须按患者进行采样，而不是按记录采样。

例如患者 A 有 5 张胸片，那么：

Plain 复制代码

正确方法：


Model 1 → 5张全部进入训练集
Model 2 → 5张全部不进入训练集

而不能出现：

Plain 复制代码

Model 1 → Record 1、2进入
          Record 3、4、5不进入

作者在早期实验中发现，如果按照记录而不是患者采样，会低估拥有多条相似记录患者的真实风险。

第二阶段：验证这种攻击是不是"现实攻击"

只证明理论风险还不够。

于是作者直接攻击了 TorchXrayVision 中已经公开发布的：

CheXpert 模型；
MIMIC-CXR 模型。

他们使用 **RMIA（Robust Membership Inference Attack）**。

与传统 LiRA 往往需要上百个 reference model 不同，RMIA 可以只依赖一到两个参考模型。

作者在实验中甚至只使用：

一个预训练好的 PadChest 模型作为 reference model。

攻击者不需要：

获取目标模型参数；
获取训练过程；
重新训练大量模型；
使用高端 GPU。

作者认为这更加接近现实中的普通外部攻击者。

第三阶段：验证"总体安全"和"个人安全"是不是一回事

作者同时计算两类指标。

传统指标：

Plain 复制代码

Aggregate MIA AUC

以及论文重点提出的：

Plain 复制代码

Record-level MIA AUC
        ↓
Patient-level MIA AUC

然后将患者级 AUC 做成 empirical Survival Function，eSF。

例如横轴：

Plain 复制代码

MIA AUC = 0.9

纵轴表示：

有多少比例的患者，其攻击 AUC ≥ 0.9。

这样就不再只是问：

"平均攻击效果是多少？"

而是进一步问：

"究竟有多少患者处于极端危险状态？"

论文第 4 页的 Figure 2b 与 Figure 2c 正是核心对照：总体 ROC 看起来风险有限，但患者级 eSF 会暴露出分布尾部的一批高风险患者。

第四阶段：继续研究风险到底由什么决定

在完成患者级风险测量后，作者继续做了三组非常重要的实验。

第一组研究攻击者只掌握部分患者信息是否仍然能够攻击。

第二组研究：

Plain 复制代码

模型越大
     ↓
模型能力越强
     ↓
是否意味着隐私风险越高？

第三组则研究：

Plain 复制代码

隐私风险是否均匀分布在不同患者群体？

并最终使用 Differential Privacy 对发现的风险进行缓解测试。

三、论文工作具体说明

工作一：证明现实中的医疗 AI 确实可以受到成员推断攻击

论文首先没有急着讨论复杂的患者级指标，而是先回答最实际的问题：

这种攻击到底能不能在现实环境中执行？

作者攻击 TorchXrayVision 中公开的 CheXpert 和 MIMIC-CXR 模型，只使用一个已经训练完成的 PadChest 模型作为 reference model。

攻击目标模型时，只需要获得目标记录的预测置信度。

对于 CheXpert 和 MIMIC-CXR 各抽取 25,000 条记录进行实验后，RMIA 分别获得：

Plain 复制代码

CheXpert：MIA AUC = 0.61


MIMIC-CXR：MIA AUC = 0.65

而且这种 offline RMIA 不要求攻击者重新训练参考模型，可以在普通硬件上完成。

这一步的意义在于：

论文讨论的并不是只有能够访问模型参数的内部攻击者才能实施的攻击，而是普通模型用户也可能具备的黑盒攻击能力。

工作二：发现总体 MIA 指标会严重掩盖个体高风险患者

这是全文最核心的实验发现。

作者发现，对于多个数据集，如果按照传统方式计算 aggregate MIA AUC，结果并没有表现得特别危险。

例如论文 Figure 2 给出的总体攻击 AUC 包括：

Plain 复制代码

CheXpert：0.52
MIMIC-CXR：0.55
Fitzpatrick 17k：0.62
FairVision：0.51
EMBED：0.57
PTB-XL：0.68
MIMIC-IV-ED：0.51

其中多个结果非常接近随机猜测的 0.5。

如果只进行传统隐私审计，很容易得出：

风险似乎并不严重。

但患者级分析给出的图景完全不同。

作者在所有研究数据和模型中都发现：

存在一小部分患者，其成员推断攻击成功率非常高，部分患者接近完美推断。

也就是说：

Plain 复制代码

总体风险低
≠
所有人的风险都低

更准确的情况是：

Plain 复制代码

大多数患者风险较低
+
少数患者风险极高
        ↓
平均以后
        ↓
极端风险被隐藏

这也是论文题目中 Disparate Privacy Risks 的第一层含义：

隐私风险在不同个体之间并不是均匀分布的。

工作三：攻击者不需要掌握患者的完整病历

实际攻击者通常不可能拿到完整患者数据。

于是作者进一步测试：

如果攻击者只有患者的一部分信息，MIA 是否仍然有效？

对于 MIMIC-IV-ED，原始模型使用 64 个临床特征。

作者进一步只保留 20 个现实中相对容易获得的特征，例如：

年龄；
性别；
体温；
心率；
血压；
血氧；
疼痛程度；
胸痛；
腹痛；
头痛；
呼吸困难；
咳嗽等。

对于 PTB-XL，作者则测试：

Plain 复制代码

完整12导联ECG
        ↓
只有Lead I
        ↓
甚至只有1～5秒的ECG片段

结果显示，随着攻击者掌握的信息减少，整体攻击效果确实会下降。

但问题在于：

依然存在一部分患者保持较高的 MIA AUC。

也就是说，攻击者并不一定需要获得完整医疗档案。

这实际上提升了攻击模型的现实意义。

工作四：模型能力越强，一部分患者的隐私风险反而越高

这是论文另一个非常值得关注的结果。

当前 AI 的主流发展趋势是：

Plain 复制代码

更多数据
+
更大模型
+
更强预训练
        ↓
更高预测性能

作者于是研究：

模型规模增长以后，MIA 风险会发生什么变化？

他们在 Fitzpatrick 17k 和 CheXpert 上测试了不同规模模型，包括：

Plain 复制代码

WRN-28-2
WRN-40-4
ViT-B/16
ViT-L/16

结果非常明显：

随着模型容量增加，高风险患者比例显著增加，有时能够增长一个数量级。

Fitzpatrick 17k 是最直观的案例。

如果将：

Plain 复制代码

MIA AUC ≥ 0.95

定义为接近完美的成员推断，那么高风险患者比例大约从：

Plain 复制代码

WRN-28-2：
0


WRN-40-4：
约 1 / 10,000


ViT-B/16-64：
约 1 / 1,000


ViT-B/16-128：
约 1 / 10

发生了巨大变化。

也就是说，在这个实验里：

模型变得更强的同时，某些患者的数据也变得更容易被模型"记住"。

这使得模型性能优化出现了一个新的权衡：

Plain 复制代码

诊断性能 ↑


可能同时伴随


部分患者隐私风险 ↑

作者认为，这一点对于长尾病例和罕见疾病尤其值得关注。

工作五：隐私风险并不是随机落在某些患者身上，而是存在群体差异

论文进一步研究：

那些极端高风险患者，有没有什么共同特征？

作者没有再使用平均 AUC，而是专门取：

Record-level MIA AUC 最高的 1%，即 99th percentile。

然后比较：

Plain 复制代码

某个群体在全部数据中的比例


vs.


该群体在最高风险1%记录中的比例

并使用：

χ² 检验；
Pearson residual；

分析差异。

论文发现，极端隐私风险会随着：

疾病状态；
自报 race；
性别；
医疗保险；
医学影像采集协议；

等因素出现显著差异。

例如在 MIMIC-IV-ED 中，相比整个数据集的比例，在最脆弱记录中：

Plain 复制代码

Black患者记录：+31%


Medicaid患者记录：+126%


癌症患者记录：+18%

工作六：训练数据中的少数群体更容易落入"极端隐私风险尾部"

作者进一步寻找为什么会发生上述现象。

结果发现一个比较明显的规律：

数据集中占比较小的群体，更容易在最高 MIA 风险区域中被过度代表。

例如 EMBED 是一个乳腺影像数据集。

值得注意的是，这里的模型任务其实只是预测：

Plain 复制代码

乳腺密度

模型并不是直接预测肿瘤。

但是在最脆弱记录中：

Plain 复制代码

BI-RADS-2 良性发现：
+60%


BI-RADS-4 可疑恶性发现：
+1,179%


极低乳腺密度 BI-RADS-A：
+90%


极高乳腺密度 BI-RADS-D：
+755%

相对整个数据集而言都出现了明显的过度代表。

作者进一步对所有 subgroup 分析进行 meta-analysis 后发现：

大的正 Pearson residual 主要出现在占数据集不到 20% 的较小群体中，群体规模与风险过度代表程度之间存在弱到中等程度的负相关。

需要注意的是，这篇论文并没有证明：

Plain 复制代码

少数群体身份
        ↓
直接导致MIA风险

更合理的理解是：

Plain 复制代码

样本较少
+
数据更独特/更处于分布尾部
+
模型为了提高预测能力对这些数据进行更充分拟合
        ↓
更容易暴露membership信息

因此，"代表性不足"不仅可能造成传统意义上的模型公平性问题，还可能产生一种新的问题：

Privacy Disparity，即隐私风险不平等。

工作七：说明"公平性问题"和"隐私问题"可能同时作用于弱势群体

这篇论文还有一个值得关注的延伸结论。

传统医疗 AI 公平性研究经常关注：

Plain 复制代码

少数群体诊断准确率是不是更低？

但本文提出了另一个维度：

Plain 复制代码

少数群体的隐私风险是不是反而更高？

于是可能形成一个非常不理想的状态：

Plain 复制代码

训练数据少
        ↓
模型诊断性能可能更差
        +
患者数据更加"稀有"
        ↓
模型更容易记忆
        ↓
MIA隐私风险更高

也就是：

一部分代表性不足的人群可能同时承担"更差模型服务"和"更高隐私风险"。

作者认为这甚至可能形成恶性循环：

Plain 复制代码

模型性能/隐私可信度下降
        ↓
患者不愿贡献医疗数据
        ↓
该群体训练数据进一步减少
        ↓
模型公平性进一步下降

工作八：验证 Differential Privacy 可以显著降低风险

发现问题之后，作者继续研究怎样解决。

论文重点测试了：

Differential Privacy，差分隐私，DP。

核心思想可以简单理解为：

在模型训练过程中对参数更新加入经过严格控制的随机噪声，使得：

Plain 复制代码

有没有某一个患者的数据

不会显著改变最终模型行为。

DP 中非常重要的指标是：

Plain 复制代码

ε（Privacy Budget）

通常来说：

Plain 复制代码

ε越小
→ 隐私保护越强

作者在 PTB-XL 和 EMBED 上训练了不同隐私预算的 DP 模型。

实验结果显示：

随着隐私保护增强，患者级 MIA 风险明显降低。

论文第 4 页 Figure 2d 和 2e 将不同 ε 下的患者级 MIA 风险曲线和模型诊断性能放在一起，可以直观看到风险分布随着 DP 加强而收缩。

四、Mend.io 的价值

这篇论文实际上给企业提出了一个非常重要的问题：

AI 安全不能只关注模型有没有明显漏洞，还需要关注模型本身是否在无意中泄露训练数据的信息。

Mend.io 可以帮助企业把模型隐私风险放入整个 AI 应用生命周期的安全治理体系中，并从 AI 资产、代码、依赖、AI 行为和运行时多个层面对风险进行持续管理。

Mend AI 资产识别可以从代码仓库中识别 AI 模型和相关组件，并建立 AI 资产清单。2026 年 Mend 进一步提供了 **AI-BOM（AI Bill of Materials）**，可以记录模型、System Prompt、Agent、Agent Configuration、Tool 和 MCP 等 AI 实体，并支持 CycloneDX 1.7 和 SPDX 3.0.1 等格式。

Mend AI 红队可以针对 AI 应用执行自动化的对抗测试，包括 Prompt Injection、Jailbreak、数据泄露以及其他 AI 特有的行为风险，并支持预置和自定义安全测试。