EncryptedLLM: Privacy-Preserving Large Language Model Inference via GPU-Accelerated Fully Homomorphic Encryption
📖 概述
随着大语言模型（LLM）的能力不断增强，模型推理计算日益被外包至第三方云端，但用户查询的隐私泄露风险也随之而来。EncryptedLLM提出了一种基于GPU加速全同态加密（FHE） 的解决方案，在加密数据上直接执行GPT-2前向传播，实现了相比CPU基线超过200倍的加速，同时通过激活函数的近似优化保持了模型精度。
🔍 核心研究
问题定义
LLM的"推理即服务"（inference-as-a-service）模式面临根本性的隐私困境：用户需要将查询发送至云端服务商，但敏感查询（如医疗、金融相关话题）的明文传输存在严重的安全隐患。全同态加密虽能从根本上解决这一问题------用户加密查询后上传，云服务器在同态下完成全部计算，返回加密结果------但FHE的计算开销极大，LLM本身的推理已极其昂贵（需高端GPU支撑），两者叠加使得密态LLM推理此前被认为不切实际。
创新方法
- 首个GPU加速的CKKS方案实现：基于OpenFHE库，首次实现了CKKS同态加密方案的GPU加速。
- 激活函数的同态友好近似：对LLM中的非线性激活函数（Sign、GeLU）设计多项式近似与分段近似，使其可在同态加密的算术约束下高效计算。
- 端到端加密GPT-2推理：在完全密态下完成GPT-2模型的完整前向传播，实现"输入加密→云端处理→加密输出返回"的全链路隐私保护。
关键结果
- 密态GPT-2推理速度相比CPU基线提升超过200倍；
- 推理时间从约3小时缩短至约1分钟，使密态LLM推理首次进入实际可用的时间窗口；
- 通过激活函数的近似策略，在显著提升性能的同时保持了模型输出质量，实现了隐私保护与实用性的关键平衡。
实际意义
- 金融与医疗场景：银行可安全地将客户信用评估、交易分析等敏感任务外包至云端；
- 企业数据保护：模型拥有者可保护其专有模型权重不被泄露，同时用户可保护查询隐私；
- 推动隐私计算民主化：证明了在合理时间内完成大规模密态推理的可行性，为更广泛场景下的隐私保护AI铺平道路。
🛠️ 技术细节
方法概述
EncryptedLLM的技术路线可概括为三个层次：
第一层：同态加密基础设施。 研究团队基于OpenFHE开源库，实现了CKKS方案（一种支持近似算术的FHE方案）的GPU加速。CKKS方案支持对加密的实数/复数进行加法和乘法运算，天然适配神经网络的前向计算。
第二层：激活函数的同态化改造。 神经网络的非线性激活函数（如Sign、GeLU）无法直接用FHE的加法和乘法表示，必须进行多项式近似或分段近似：
- Sign函数的近似 ：构造复合多项式 h ( x ) = f n ( d f ) ∘ g m ( d g ) ( x ) h(x) = f_n^{(d_f)} \circ g_m^{(d_g)}(x) h(x)=fn(df)∘gm(dg)(x)，其中 f n f_n fn 和 g m g_m gm 分别为 2 n + 1 2n+1 2n+1 阶和 2 m + 1 2m+1 2m+1 阶多项式；
- GeLU函数的近似：采用分段多项式策略，在不同区间使用不同阶数的多项式进行拟合；
- 这种近似策略的核心权衡是：多项式阶数越低，计算越快，但精度损失越大。
第三层：加密GPT-2推理。 将上述GPU加速的FHE方案与同态友好的激活函数结合，在密态下完成GPT-2的全部前向计算。
研究设定
| 设定维度 | 具体内容 |
|---|---|
| 基础库 | OpenFHE开源全同态加密库 |
| 加密方案 | CKKS（支持近似算术的FHE方案） |
| 目标模型 | GPT-2 |
| 硬件加速 | GPU（具体架构未在摘要中详述） |
| 基线对比 | CPU上的FHE实现 |
| 评估指标 | 推理延迟、模型精度（激活函数近似前后的对比） |
📊 主要发现
-
GPU加速是密态LLM推理的关键突破点：此前FHE的CPU实现在密态下执行LLM推理需要数小时，而GPU加速将其压缩至分钟级（从约3小时降至约1分钟），这是从"理论可行"到"实际可用"的本质跨越。
-
激活函数近似是性能与精度的核心权衡：论文的核心技术贡献并非某种全新的GPU算法，而是系统性地探索了如何在FHE的约束下高效近似LLM的非线性激活函数。这种近似策略直接影响密态推理的可行性和输出质量。
-
端到端隐私保护成为现实：用户的加密查询在云端处理的全过程中，云服务器无法获知任何明文信息------既看不到用户的输入，也看不到中间计算结果，最终返回的仍是密文结果，仅持有私钥的用户才能解密。
💡 深度洞察
洞察一：FHE+GPU的组合是隐私保护AI的必经之路
LLM的参数量级（数十亿至数万亿）意味着即使是在明文下，推理也需要大量算力。在密态下，每个操作的开销被放大数个数量级。EncryptedLLM的关键 insight 在于：仅仅依靠算法优化无法弥合这一鸿沟，必须从硬件层面（GPU并行计算）寻求突破。这一方向与NVIDIA等厂商正在推动的"隐私计算硬件加速"趋势高度一致。
洞察二：激活函数近似------被低估的核心技术挑战
同态加密本质上是"算术加密"------它天然支持加法和乘法，但不支持比较、分支、指数等操作。而现代神经网络依赖大量非线性激活函数（ReLU、GeLU、Sigmoid等）。如何在FHE的"算术牢笼"中高效逼近这些非线性函数，是整个领域的核心难题。EncryptedLLM在这个方向上的探索具有普适性------其方法论可推广至其他架构的LLM乃至更广泛的深度神经网络。
洞察三：隐私保护与模型性能的"不可能三角"正在被打破
长期以来，隐私保护、计算效率和模型精度三者之间存在难以调和的张力。EncryptedLLM通过GPU加速解决了效率问题，通过多项式近似平衡了精度问题，初步打破了这一"不可能三角"。虽然目前仅验证了GPT-2（相对较小的模型），但技术路线的可扩展性值得关注------随着GPU算力的持续提升和FHE方案的不断优化，更大规模模型的密态推理并非遥不可及。
洞察四：工业界的强力推动
该论文的作者来自摩根大通（J.P. Morgan Chase） ，这表明大型金融机构对隐私保护AI有强烈的现实需求。金融行业对数据隐私和合规性的要求极为严格，EncryptedLLM的出现为金融AI的云端化扫除了关键障碍。
🎯 实践应用
对研究者的建议
- 关注FHE硬件加速趋势：GPU加速只是起点，未来FPGA、ASIC等专用硬件的加入将进一步降低密态推理的开销。
- 激活函数近似是核心优化方向：针对不同模型架构设计更优的同态友好型激活函数，将是隐私保护AI领域的重要研究方向。
- 从小模型起步：GPT-2的验证为更大模型（如Llama、GPT-3等）的密态推理提供了方法论基础，可在此基础上逐步扩展。
对工业界的建议
- 金融、医疗等高隐私行业应优先布局：这些领域对数据隐私有刚需，且客户愿意为隐私保护支付溢价。
- 关注OpenFHE等开源生态：EncryptedLLM基于OpenFHE实现，表明开源FHE库已具备一定的工业可用性。
- 性能与精度的权衡需按场景定制：不同应用场景对延迟和精度的要求不同，可根据实际需求选择合适的激活函数近似策略。
对政策制定者的启示
EncryptedLLM展示了技术可以在不牺牲隐私的前提下实现AI的云端化。这为数据跨境流动、医疗数据共享、金融数据外包等敏感场景提供了技术可行性依据，有望推动相关法规在"隐私保护"与"AI发展"之间找到更优的平衡点。
📚 参考资料
- 原始论文 : EncryptedLLM: Privacy-Preserving Large Language Model Inference via GPU-Accelerated Fully Homomorphic Encryption, Proceedings of the 42nd International Conference on Machine Learning (ICML 2025)
- ACM Digital Library : DOI: 10.5555/3780338.3780825