第 8 课:密态引擎SPU框架介绍

本讲主要内容是SPU框架整体结构的介绍。

一、为何做SPU

以大模型预测场景为例,模型是公司的资产,提示词包含用户隐私,如何同时保护模型和提示词。利用隐私计算技术,用户将提示词加密,同时模型在加密环境里进行推理,可以同时保护模型和提示词。

由于数据是敏感且重要的,所以需要隐私计算。

隐私计算是一种高速发展中的技术,包括多方安全计算、同态加密、差分隐私、可信硬件等。基于密码学的隐私计算,提供了非常有限的计算能力,加密计算有易用性差(类型简单,加/乘/与/或等,算子比较底层),性能较差等挑战。SPU就是为了填补加密计算和高级编程语言之间的空白,可以提供较好的易用性(原生AI框架支持),以及较好的性能(编译器运行时协同优化)。

二、SPU简介

SPU是一个虚拟加密处理设备,类比CPU和GPU,从而支持上层的各种应用。SPU是一个虚拟的、安全的、多个参与方的、运算相对较慢的设备。

SPU架构从上至下,分为前端(复用AI前端、TF/JAX/PyTorch)、编译器(将前端产生的机器学习表达加入自定义的隐私保护语义,翻译到运行时。任何数据和密态变量进行计算,结果仍为密态变量。)、运行时(多种并发模型支持,多种协议支持,多部署模式支持)三部分。

SPU的编程界面,使用原生AI框架,使用JIT编译执行,生态无缝衔接,通过修改配置文件即可更改安全协议,无需代码修改。SPU作为一个虚拟设备,也提供了配套的工具链的支持(Profiling、Tracing,Debugging),从而对上层应用和下层协议进行针对性优化以及错误排查。

三、现状和展望

隐语开源生态,SPU支持PPML,支持联邦学习,支持SCQL。

SPU也可以用于前沿学术研究。

SPU作为AI和密码学之间的桥梁,希望可以进一步加速构建隐私计算的生态,例如通过SPU提供的原生Numpy API,构建安全sklearn-like机器学习库,构建安全pandas-like数据分析库,支持更多的安全后端等。

相关推荐
罗西的思考21 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
Asher11251 天前
电池数据整理复盘:从 MAT 文件到充电曲线
机器学习
龙腾AI白云1 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
汤姆宝库1 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
回眸&啤酒鸭1 天前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
AI小怪兽1 天前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
峯5801 天前
机器学习05,用 scikit-learn 做加州房价预测的完整入门工程
人工智能·机器学习·scikit-learn
伞伞悦读1 天前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
AI源码1 天前
基于机器学习的优衣库销售预测与决策系统
人工智能·机器学习
Be for thing2 天前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习