DP-Fusion: Token-Level Differentially Private Inference for LLMs
📖 概述
DP-Fusion 是由 MBZUAI（穆罕默德·本·扎耶德人工智能大学）的 Rushil Thareja、Preslav Nakov、Praneeth Vepakomma 和 Nils Lukas 等学者提出的一种面向大语言模型（LLM）的令牌级差分隐私推理（DPI）机制 。该机制通过数学证明的方式约束上下文中的敏感令牌对 LLM 输出的影响边界 ，在文档隐私化任务中实现了可证明的隐私保护，同时将输出质量（困惑度）提升至现有最优基线方法的 6 倍。该论文已发表于 arXiv（2025年7月），并入选 ICLR 2026。
🔍 核心研究
问题定义
大语言模型在推理阶段不天然具备隐私保护能力 。当 LLM 通过工具调用或外部数据库增强时，其生成的输出可能无意间泄露上下文中的敏感信息 。现有的推理阶段隐私保护方法存在两大根本性缺陷：（1）缺乏可证明的隐私保证 ；（2）隐私与效用的权衡极差。典型场景如医院使用 LLM 辅助匹配病历时，患者的疾病史、治疗方案等个人可识别信息（PII）面临被重新识别的风险。
创新方法
DP-Fusion 的核心创新在于将差分隐私（DP） 从训练阶段拓展至推理阶段 ，并提出了一套完整的令牌级隐私保护框架。其技术灵感来源于 PMixED，后者在概念上类似于 PATE 和 SUBMIX------这些方法原本旨在实现对训练数据集中记录的差分隐私保护。DP-Fusion 通过 "基线-敏感-融合"三阶段机制，在令牌粒度上实现了可证明的隐私边界控制。
关键结果
-
隐私保证 ：DP-Fusion 可数学证明地约束 上下文中的敏感令牌集合对 LLM 输出的影响。隐私-效用权衡由参数 ε 控制------ε=0 时完全隐藏敏感令牌，较高的 ε 值则以隐私为代价换取文本质量提升。
-
效用提升 ：在可比较的隐私水平下，DP-Fusion 实现了 6 倍 的效用提升（以困惑度衡量）。具体而言，在 ε 值范围为 16 至 66 时，DP-Fusion 的困惑度维持在 1.42 至 1.46 之间，而 DP-Decoding 和 DP-Prompt 等对比方法的困惑度超过 3.9，甚至高达数千。
-
安全增强 ：该令牌级影响边界同时缓解了越狱式提示注入攻击。
实际意义
DP-Fusion 为 LLM 在高风险场景中的安全部署提供了首个具备可证明隐私保证的推理方案。其应用价值体现在：
- 医疗文档处理：在匹配病历与症状时保护患者隐私
- 企业数据安全：防止 LLM 在工具调用中泄露密码等敏感信息
- 文档隐私化：对包含 PII 的文档进行改写，使攻击者无法可靠推断敏感内容，同时保持文本整体效用
- 合规需求：满足 GDPR 等隐私法规对数据保护的要求
🛠️ 技术细节
方法概述
DP-Fusion 算法包含四个核心步骤：
- 敏感令牌标注：识别并标注上下文中需要保护的敏感令牌子集
- 基线推理：在不包含任何敏感令牌的情况下运行 LLM，获得基线输出分布
- 敏感推理：在包含敏感令牌的情况下运行 LLM，获得敏感输出分布
- 分布融合 ：将两个输出分布进行混合，使最终输出与基线分布保持在有界统计距离之内
更细化的流程为：
- （i）将敏感令牌划分为不相交的隐私组
- （ii）每组运行一次 LLM
- （iii）融合输出分布，使最终输出与"不揭示任何隐私组"时的基线分布保持在固定统计距离内
研究设定
| 维度 | 具体设定 |
|---|---|
| 任务 | 文档隐私化（Document Privatization）------对包含敏感内容（如 PII）的文档进行释义改写 |
| 隐私模型 | 差分隐私（Differential Privacy），以 ε 为隐私预算参数 |
| 理论基础 | 受 PMixED 启发，后者与 PATE、SUBMIX 概念相似 |
| 评估指标 | 困惑度（Perplexity）------衡量输出文本质量 |
| 基线方法 | DP-Decoding、DP-Prompt 等现有 DPI 方法 |
| 开源资源 | 代码和数据集已公开：https://github.com/rushil-thareja/dp-fusion-lib；PyPI 包：dp-fusion-lib |
📊 主要发现
-
隐私-效用权衡的突破性改进：DP-Fusion 在保持可证明隐私保证的同时，实现了远超现有方法的文本质量。在 ε 值 16-66 范围内，困惑度稳定在 1.42-1.46。
-
令牌级隐私粒度的可实现性 ：通过将敏感令牌分组并分别处理，DP-Fusion 实现了细粒度的隐私控制，用户可精确控制哪些信息受到保护以及保护的程度。
-
方法通用性：DP-Fusion 不依赖特定模型架构，可应用于各类自回归 LLM。
-
双重安全效益 ：除隐私保护外，DP-Fusion 的令牌影响边界机制还能缓解提示注入攻击，提供额外的安全防护层。
-
实际部署可行性：研究团队提供了完整的开源实现（包括代码库和 PyPI 包）以及在线演示，降低了实际应用门槛。
💡 深度洞察
1. 从"训练隐私"到"推理隐私"的范式转移
现有的大语言模型隐私保护研究大多聚焦于训练阶段 （如 DP-SGD），通过在训练过程中注入噪声来防止模型记忆训练数据。然而，LLM 的实际部署场景中，推理阶段的隐私风险同样严峻------当用户向模型提供包含敏感信息的上下文时，模型可能无意间在输出中泄露这些信息。DP-Fusion 标志着隐私保护研究从"保护模型参数"向"保护推理上下文"的重要转向。
2. 分布融合的核心思想
DP-Fusion 的技术精髓在于不试图"教"模型忘记敏感信息 ，而是通过输出分布的受控融合来实现隐私保护。这种方法避免了传统方法（如直接删除敏感令牌）导致的效用急剧下降问题。其数学本质是：通过确保有/无敏感信息时的输出分布足够接近（在统计距离意义上），使得攻击者无法从输出中可靠推断敏感令牌的存在与否。
3. 与 PATE 框架的理论联系
DP-Fusion 与 PATE（Private Aggregation of Teacher Ensembles）框架存在深刻的理论联系。PATE 通过聚合多个"教师"模型的预测并添加噪声来实现训练数据的差分隐私；DP-Fusion 则将这一思想迁移至推理阶段------将同一 LLM 在不同输入配置（有/无敏感令牌）下的输出视为"教师预测"，通过融合实现隐私保护。这种类比为理解 DP-Fusion 的隐私保证提供了清晰的理论视角。
4. 代价与权衡
DP-Fusion 的隐私保护并非没有代价：
- 计算开销：需要多次 LLM 前向传播（每次隐私组一次）
- 隐私-效用权衡：ε 值的选择需要在隐私保护和文本质量之间做出权衡
- 敏感令牌标注：需要预先识别和标注敏感令牌，在实际场景中可能需要辅助的 NER 系统
5. 对 LLM 安全生态的启示
DP-Fusion 的提出暗示了一个更广泛的趋势：LLM 的安全部署需要"隐私原生"的设计，而非事后打补丁。随着 LLM 被集成到医疗、金融、法律等高风险领域，可证明的隐私保证将从"锦上添花"变为"刚性需求"。
🎯 实践应用
适用场景
- 医疗健康领域：对包含患者病历、诊断记录、治疗方案等敏感信息的文档进行隐私化处理
- 金融服务：保护包含账户信息、交易记录、信用评分等 PII 的文档
- 企业内部数据：防止 LLM 在检索增强生成（RAG）场景中泄露密码、API 密钥等敏感信息
- 法律文书处理：对包含当事人信息、案件细节的法律文档进行隐私化改写
部署建议
- 隐私预算选择：根据应用场景的隐私要求选择合适的 ε 值。ε=0 提供最强隐私保护但效用最低；较高的 ε 值适用于对文本质量要求更高的场景
- 敏感令牌识别：建议结合命名实体识别（NER）模型自动标注敏感令牌，构建端到端的隐私保护流水线
- 计算资源规划：DP-Fusion 需要多次 LLM 前向传播，部署时需预留相应的计算资源
- 利用开源工具：研究团队已提供完整的代码库（GitHub）、PyPI 包和在线演示，可大幅降低集成成本
📚 参考资料
- 原始论文 ：Thareja, R., Nakov, P., Vepakomma, P., & Lukas, N. (2025). DP-Fusion: Token-Level Differentially Private Inference for Large Language Models. arXiv:2507.04531 . https://arxiv.org/abs/2507.04531
- ICLR 2026 页面 ：https://iclr.cc/virtual/2026/poster/10009055
- 代码仓库 ：https://github.com/rushil-thareja/dp-fusion-lib
- PyPI 包 ：https://pypi.org/project/dp-fusion-lib/
- 在线演示 ：https://www.documentprivacy.com