第 8 课:密态引擎SPU框架介绍

本讲主要内容是SPU框架整体结构的介绍。

一、为何做SPU

以大模型预测场景为例,模型是公司的资产,提示词包含用户隐私,如何同时保护模型和提示词。利用隐私计算技术,用户将提示词加密,同时模型在加密环境里进行推理,可以同时保护模型和提示词。

由于数据是敏感且重要的,所以需要隐私计算。

隐私计算是一种高速发展中的技术,包括多方安全计算、同态加密、差分隐私、可信硬件等。基于密码学的隐私计算,提供了非常有限的计算能力,加密计算有易用性差(类型简单,加/乘/与/或等,算子比较底层),性能较差等挑战。SPU就是为了填补加密计算和高级编程语言之间的空白,可以提供较好的易用性(原生AI框架支持),以及较好的性能(编译器运行时协同优化)。

二、SPU简介

SPU是一个虚拟加密处理设备,类比CPU和GPU,从而支持上层的各种应用。SPU是一个虚拟的、安全的、多个参与方的、运算相对较慢的设备。

SPU架构从上至下,分为前端(复用AI前端、TF/JAX/PyTorch)、编译器(将前端产生的机器学习表达加入自定义的隐私保护语义,翻译到运行时。任何数据和密态变量进行计算,结果仍为密态变量。)、运行时(多种并发模型支持,多种协议支持,多部署模式支持)三部分。

SPU的编程界面,使用原生AI框架,使用JIT编译执行,生态无缝衔接,通过修改配置文件即可更改安全协议,无需代码修改。SPU作为一个虚拟设备,也提供了配套的工具链的支持(Profiling、Tracing,Debugging),从而对上层应用和下层协议进行针对性优化以及错误排查。

三、现状和展望

隐语开源生态,SPU支持PPML,支持联邦学习,支持SCQL。

SPU也可以用于前沿学术研究。

SPU作为AI和密码学之间的桥梁,希望可以进一步加速构建隐私计算的生态,例如通过SPU提供的原生Numpy API,构建安全sklearn-like机器学习库,构建安全pandas-like数据分析库,支持更多的安全后端等。

相关推荐
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考3 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
武子康5 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
XLYcmy7 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
在所不辞兄12 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
硅谷秋水14 小时前
MorphMimic 方法分析
人工智能·机器学习·计算机视觉·机器人
forest_091 天前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
落羽的落羽1 天前
【C++】C++17的主要特性
linux·服务器·开发语言·c++·算法·机器学习
武子康1 天前
ComfyUI 加载了动作 LoRA,H3-World 的时间绑定就接好了吗?
人工智能·机器学习·claude