[论文学习]隐私保护大语言模型推理实践:技术、权衡与可部署性比较研究

Privacy-Preserving LLM Inference in Practice: A Comparative Study

📖 概述

随着大语言模型（LLM）日益被部署为云服务，用户提示词和生成结果的机密性问题已成为实际应用中的核心关切。本文对基于Transformer的LLM隐私保护推理方案进行了系统性比较调查，以支持实际部署中的操作性选择为明确目标，刻画了当前隐私保护LLM推理的实践图景，并提出了一条从可信执行环境（TEE）到全同态加密（FHE）的信任最小化部署演进路径。

🔍 核心研究

问题定义 ：LLM云服务推理过程中，用户输入的提示词（prompt）和模型生成的补全结果（completion）可能包含敏感信息（如商业数据、个人隐私、临床记录等），但当前部署方案对此提供的机密性保障极为有限。本文采用了一个强操作性的隐私定义：只有客户端能够读取提示词和对应的补全结果，端到端保密。
创新方法 ：本文并非提出单一的新协议，而是首次对隐私保护LLM推理领域进行了系统性的实践比较调查。研究围绕隐私增强技术（PETs）的主要家族展开组织，对每一类技术中的代表性系统及其如何解决机密LLM推理中的关键瓶颈（如非线性层、自回归解码等）进行了深入考察，并从信任假设、可扩展性和部署成熟度三个维度进行比较。
关键结果 ：本文刻画了当前隐私保护LLM推理的实践图景，并提出了一条三阶段信任最小化部署轨迹：
1. 当前可行：基于TEE的解决方案，可在今天实现大规模机密推理；
2. 中间过渡：加密增强设计，以更高的计算成本换取对硬件信任的减少；
3. 长期目标：全同态加密（FHE）作为实现非交互式机密性的原则性长期终点。
实际意义 ：本文为LLM服务提供商、企业安全团队和政策制定者提供了实操性的决策参考------在隐私保护强度、计算开销和部署复杂度之间做出明智权衡，从而根据具体应用场景选择合适的隐私保护推理方案。

🛠️ 技术细节

方法概述

本文采用系统性文献调查与比较分析的方法论框架。研究以Transformer架构的LLM为对象，围绕隐私增强技术（PETs）的主要家族进行分类梳理。对于每一类技术，论文考察代表性系统如何处理机密LLM推理中的两大核心瓶颈：

非线性层：LLM中的非线性激活函数（如GELU、Softmax等）在密文状态下难以高效计算，是各类隐私保护方案面临的共同挑战；
自回归解码：LLM逐token生成输出的自回归特性，在隐私保护设定下会累积额外的计算和通信开销。

在完成技术梳理后，论文从信任假设 （trust assumptions）、可扩展性 （scalability）和部署成熟度（deployment maturity）三个维度对各类方案进行系统比较。

研究设定

隐私模型：端到端机密性------仅客户端可读取提示词和生成结果
目标模型：基于Transformer架构的大语言模型
部署场景：云服务模式下的LLM推理
比较维度：信任假设、可扩展性、部署成熟度
技术覆盖：TEE、密码学增强方案、全同态加密等主要PETs家族

📊 主要发现

TEE方案：今日可行，但信任依赖显著

基于TEE的解决方案目前已能在实际规模上支持机密LLM推理。然而，这类方案仍然依赖于对硬件供应商（如Intel、AMD）的信任，并非完全的隐私保证。
密码学增强方案：减少信任，代价高昂

通过结合TEE与密码学技术（如安全多方计算、同态加密的某些组件）的设计，可以在一定程度上减少对硬件信任的依赖，但会带来显著更高的计算成本。
全同态加密：终极目标，尚待成熟

FHE被定位为一种原则性的长期技术终点，能够实现非交互式的完全机密性。然而，当前FHE在LLM推理中的实际部署仍面临巨大的性能瓶颈。
实践图景的多元性

当前并不存在"一刀切"的最优方案。不同应用场景（如医疗数据处理、金融服务、个人助手等）对隐私强度、延迟要求和计算预算的差异，决定了需要选择不同的技术路径。

💡 深度洞察

洞察一：隐私保护的"不可能三角"

本调查实质上揭示了隐私保护LLM推理中存在的**"不可能三角"------隐私强度 、计算效率与部署便捷性**三者难以兼得。TEE方案牺牲了"隐私强度"（依赖硬件信任）换取了"效率"和"便捷性"；FHE方案追求了"隐私强度"却牺牲了"效率"；而密码学增强方案则处于三者之间的折中地带。

洞察二：信任最小化是核心演进逻辑

本文提出的三阶段轨迹本质上刻画了一条信任最小化 （trust-minimising）的演进路径。从依赖硬件供应商的TEE，到减少硬件信任的密码学增强方案，再到完全不依赖任何第三方信任的FHE------这条路径的技术代价呈指数级上升，但安全假设的强度也同步提升。这暗示了一个深刻的工程现实：隐私保护的"纯度"是有价格的，且价格随纯度提升而超线性增长。

洞察三：LLM架构与密码学的根本性张力

Transformer架构的核心运算（非线性激活、自注意力机制中的Softmax等）与密码学运算（尤其是同态加密）之间存在根本性的架构不匹配。FHE擅长线性运算但难以处理非线性函数，而Transformer恰恰依赖于大量非线性操作。这一张力意味着，单纯优化密码学协议而不对LLM架构进行适配性调整，可能难以突破根本性的效率瓶颈。

洞察四：实践导向的研究范式转型

本文的显著特征是其明确的实践导向------目标不是提出新的理论协议，而是"支持实际部署中的操作性选择"。这反映了隐私保护机器学习研究正在从"协议创新驱动"向"实践需求驱动"转型，标志着该领域正在走向成熟。

🎯 實踐應用

对LLM服务提供商的建议

场景类型	推荐方案	核心理由
通用场景、低敏感数据	TEE方案	性能最优，部署成熟，可满足基本机密性需求
高敏感数据（医疗、金融）	密码学增强方案	减少对硬件供应商的信任依赖，虽成本较高但隐私保证更强
长期战略规划	关注FHE进展	作为非交互式机密性的终极方案，需持续跟踪其技术成熟度

对企业安全团队的实践建议

进行威胁建模：明确自身场景中对手的能力假设------是云服务商本身、恶意内部人员，还是外部攻击者？不同威胁模型对应不同的技术选择。
量化隐私-性能权衡：在实际部署前，应对候选方案进行基准测试，量化隐私保护带来的延迟和成本增量，确保业务可接受。
采用分层防御策略：可考虑"TEE + 敏感数据本地预处理"的混合架构，在不完全牺牲效率的前提下提升隐私保护水平。
关注标准化进展：隐私保护LLM推理领域仍处于快速发展期，技术标准和最佳实践尚未定型，需持续跟踪学术和工业界的最新动态。

📚 參考資料來源

原始论文 : Andreoletti, D., Rudi, A., Carpanzano, E., Lelli, F., & Leidi, T. (2026). Privacy-Preserving LLM Inference in Practice: A Comparative Survey of Techniques, Trade-Offs, and Deployability. IACR Cryptology ePrint Archive, 2026, 105.
IACR新闻页面: https://iacr.org/news/item/27528
Semantic Scholar: https://www.semanticscholar.org/paper/Privacy-Preserving-LLM-Inference-in-Practice%3A-A-of-Andreoletti-Rudi/70c8a633874d458b582ad7f0fb059704defe22ef