[论文泛读]zkLLM: Zero Knowledge Proofs for Large Language models

文章目录

介绍

这篇文章发在CCS2024,CCS是密码学领域的顶会。作者是来自加拿大的University of Waterloo。文章对大语言模型像GPT和LLM等大语言模型实现了零知识可验证执行,但不涉及零知识可验证训练。个人觉得这是一篇值得精读的一篇文章。文章的方案与现存的RISC-ZERO和EZKL或者Halo2的方案(zkML)不同。文中使用完全并行化的 CUDA ,同时对于拥有 130 亿个参数的 LLM,这篇文章的方法能够在 15 分钟内为整个推理过程生成正确性证明。生成的证明大小不到 200 kB。(使用ezkl的方案使用nanoGPT参数大概40w实现零知识可验证执行所需要的时间2小时,而这篇论文的方案有着质的提升)。

实验数据

实验数据1

论文中分别对大语言模型进行证明生成的时间,证明大小以及验证时间进行了测量。

实验数据2

论文中与zkML的生成证明的时间进行了比较,zk LLM方案的生成证明的时间远远低于zkML生成证明的时间。zkML这个方案是基于halo2的方案。

实验数据3

该实验研究了Sequence Length对生成证明的时间,生成证明的大小,以及验证时间的影响。Sequence Length是模型输入文本的长度。

相关推荐
PKNLP11 分钟前
深度学习之神经网络1(Neural Network)
人工智能·深度学习·神经网络
文火冰糖的硅基工坊1 小时前
《投资-99》价值投资者的认知升级与交易规则重构 - 什么是周期性股票?有哪些周期性股票?不同周期性股票的周期多少?周期性股票的买入和卖出的特点?
大数据·人工智能·重构·架构·投资·投机
Elastic 中国社区官方博客1 小时前
Elasticsearch:使用推理端点及语义搜索演示
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
AI新兵1 小时前
深度学习基础:从原理到实践——第一章感知机(中)
人工智能·深度学习
liliangcsdn1 小时前
从LLM角度学习和了解MoE架构
人工智能·学习·transformer
ARM+FPGA+AI工业主板定制专家2 小时前
基于ZYNQ FPGA+AI+ARM 的卷积神经网络加速器设计
人工智能·fpga开发·cnn·无人机·rk3588
伏小白白白2 小时前
【论文精度-1】 组合优化中的机器学习:方法论之旅(Yoshua Bengio, 2021)
人工智能·机器学习·组合优化
CH3_CH2_CHO2 小时前
DAY03:【DL 第一弹】神经网络
人工智能·pytorch·深度学习·神经网络
算家计算2 小时前
蚂蚁开源万亿参数大模型Ling-1T:多项能力全球领先
人工智能·开源·资讯