[论文泛读]zkLLM: Zero Knowledge Proofs for Large Language models

文章目录

介绍

这篇文章发在CCS2024,CCS是密码学领域的顶会。作者是来自加拿大的University of Waterloo。文章对大语言模型像GPT和LLM等大语言模型实现了零知识可验证执行,但不涉及零知识可验证训练。个人觉得这是一篇值得精读的一篇文章。文章的方案与现存的RISC-ZERO和EZKL或者Halo2的方案(zkML)不同。文中使用完全并行化的 CUDA ,同时对于拥有 130 亿个参数的 LLM,这篇文章的方法能够在 15 分钟内为整个推理过程生成正确性证明。生成的证明大小不到 200 kB。(使用ezkl的方案使用nanoGPT参数大概40w实现零知识可验证执行所需要的时间2小时,而这篇论文的方案有着质的提升)。

实验数据

实验数据1

论文中分别对大语言模型进行证明生成的时间,证明大小以及验证时间进行了测量。

实验数据2

论文中与zkML的生成证明的时间进行了比较,zk LLM方案的生成证明的时间远远低于zkML生成证明的时间。zkML这个方案是基于halo2的方案。

实验数据3

该实验研究了Sequence Length对生成证明的时间,生成证明的大小,以及验证时间的影响。Sequence Length是模型输入文本的长度。

相关推荐
数新网络2 分钟前
PyTorch
人工智能·pytorch·python
程序员miki2 分钟前
RNN循环神经网络(一):基础RNN结构、双向RNN
人工智能·pytorch·rnn·深度学习
自信的小螺丝钉7 分钟前
【大模型手撕】pytorch实现LayerNorm, RMSNorm
人工智能·pytorch·python·归一化·rmsnorm·layernorm
深耕AI7 分钟前
PyTorch图像预处理:ToTensor()与Normalize()的本质区别
人工智能·pytorch·python
moonsims19 分钟前
SKYTRAC-无人机、无人机系统和城市空中交通卫星通信 – BVLOS 和 C2 卫星通信终端和任务服务器
人工智能
云卓SKYDROID22 分钟前
无人机电压模块技术剖析
人工智能·无人机·电压·高科技·云卓科技
Codebee28 分钟前
使用Qoder 改造前端UI/UE升级改造实践:从传统界面到现代化体验的华丽蜕变
前端·人工智能
用户51914958484533 分钟前
Apache服务器自动化运维与安全加固脚本详解
人工智能·aigc
yintele38 分钟前
智能AI汽车电子行业,EMS应用相关问题
人工智能·汽车
却道天凉_好个秋1 小时前
深度学习(四):数据集划分
人工智能·深度学习·数据集