[论文阅读]LLMZip: Lossless Text Compression using Large Language Models

LLMZip: Lossless Text Compression using Large Language Models

[2306.04050] LLMZip: Lossless Text Compression using Large Language Models

直观思想

以英文文本输入"My first attempt at writing a book"为例,假设某个语言模型有M个记忆点(此处以4模拟),那么他就是以四个输入token来预测下一个token的输出概率

作者认定,在下一词预测中,排名顺序从0到n,因此第五个词是我们期望的writing的话,排名为1,得到排名结果R5=1,以此类推。

如果语言模型作用良好(这个是可以通过自己在期望的数据集上一次又一次训练,让它直接过拟合,来尽可能达到的),那么下一个目标预测词汇大概率在前几位,尤其是0位和1位。这样的话是可以走压缩的,比如zip,算数编码,哈夫曼编码等

重构序列,先解码/解压比特为排名序列,用同一个语言模型跑一个批次,依照排名选token(类似于同样的加密/解密方案)。

【LLM输出的温度超参数影响的是选择的token,这里有对应的排名,温度超参数就没有那么重要了。】

使用LLM压缩

让 𝐬 表示由 Nc 字母组成的英语句子,其中每个字母都假设来自字母表 𝒮。 我们假设我们有一个包含 D 个标记的字典 𝒳=[1,D]。 我们首先将 𝐬 解析为由 𝐱=x1,x2,...,xi−1,xi,xi+1,...xNT 表示的 NT 标记序列,其中 xi∈𝒳。 𝐬 和 𝐱 之间存在一对一映射,因此压缩 s 与压缩 𝐱 相同。 xi可以被认为是大写字母Xi表示的随机变量的实现。

具有记忆M的语言模型是一个按如下方式运行的预测器。 在 i 时间点,它接受词符 xi−M,xi−M+1,...,xi−1,并根据 qi(xi):=Pr(Xi=xi|xi−1,xi−2,...,xi−M),∀xi∈𝒳 给出的过去 M 词符条件,生成序列中下一个词符的概率质量函数。 将PMF向量𝐪i:=[qi(1),qi(2),...,qi(D)]𝖳按降序排序,并将排序后的PMF向量记为𝐪~i。 令 γi:𝒳→𝒳 为从 1 到 D 的整数的排列,使得

即γi(j)是词符j在epoch i的排名。 我们将输入序列在epoch i的排名定义为词符xi在epoch i、ri:=γi(xi)的排名。 序列 通过无损压缩算法(例如zlib)压缩以产生Nb位,它们是源的最终位表示。 该方案的示意图如图4所示。 一般来说,无损压缩算法除了使用秩序列之外,还可以使用PMF向量𝐪i的序列。

感兴趣的主要指标是压缩比 ρ 定义为

结果

相关推荐
gaosushexiangji28 分钟前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头2 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
说私域2 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
飞哥数智坊3 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor
12点一刻3 小时前
搭建自动化工作流:探寻解放双手的有效方案(2)
运维·人工智能·自动化·deepseek
未来之窗软件服务3 小时前
东方仙盟AI数据中间件使用教程:开启数据交互与自动化应用新时代——仙盟创梦IDE
运维·人工智能·自动化·仙盟创梦ide·东方仙盟·阿雪技术观
JNU freshman4 小时前
计算机视觉速成 之 概述
人工智能·计算机视觉
说私域4 小时前
基于开源AI大模型AI智能名片S2B2C商城小程序源码的私域流量新生态构建
人工智能·开源
HollowKnightZ4 小时前
目标姿态估计综述:Deep Learning-Based Object Pose Estimation: A Comprehensive Survey
人工智能·深度学习