quantizers 学习 - 技术栈

quantizers ˈkwɒntaɪzə(r) n. [通信] 量化器；数字转换器

randomized ˈrændəmaɪzd;

adj. [数]随机化的，随机的

v. 使随机化；做任意排列（randomize 的过去分词）

stochastic stɒˈkæstɪk [数] 随机的；猜测的

desired dɪˈzaɪəd

adj. 期望得到的，希望实现的

v. 渴望，想望；<正式>要求，请求；被......吸引，对......产生性欲

在 LLM 里，注意力分数的计算本质上就是大量向量内积

如果量化器是有偏的：误差会被系统性放大，越往后的 token 偏差越大。模型输出会越来越不准，甚至逻辑崩坏

无偏内积计算：

对向量 x 做「量化 + 反量化」，再和向量 y 做内积；这个结果的数学期望，等于 y 和原始 x 的内积

两种误差的计算方式：

目标

目标：设计计算高效的 Qmse 和 Qprod，实现上述两种误差度量的最优边界（optimal bounds）；同时 Qprod 需要提供无偏内积估计

（primitives 基本操作）

现有量化的缺点：

关于论文中的一些证明

注意，文中的单位（unit）范数（norm）假设（即∥x∥2=1）是标准设定，并不构成实际限制。对于不满足该假设的数据集，我们可以用浮点精度计算并存储其 L2 范数，再用这些存储的范数对反量化后的向量进行缩放。

这个符号 ∝ 读作「正比于」，是数学里的比例符号

1/(4^b) 的由来

在写正比关系时，会把不随 b 变化的常数项（比如 R^2）省略掉，只保留和 b 有关的部分

关于的计算

高维单位向量经过随机正交旋转后，坐标分布的「最坏情况」标量量化误差上界，通过对 Beta 分布的积分推导得到。

hypersphere ˈhaɪpəsfɪə n. [天] 超球面

differential entropy 微分熵

mutual ˈmjuːtʃuəl

adj. 相互的，彼此的；共同的，共有的；（保险公司、建筑协会等）互助的

n. 互助公司

converge kənˈvɜːdʒ v. （使）汇聚，集中；（观点、目标）趋同；（数）收敛

sphere sfɪə(r)

n. （活动、兴趣、专业知识的）范围，领域；球体，球，球形；社会阶层；势力范围；苍穹，天，天空；天体；天体外壳；地球仪

vt. 使......成球形；包围；放入球内

the ratio of a to b, a 与 b 的比值

volume：体积 ˈvɒljuːm

n. 体积，容积；总数，总量；音量，响度；（控制音量的）旋钮，控制杆；（成套图书中的）卷，册；（期刊）合订本；书籍；<史>（写在羊皮纸或纸草纸上的）书卷；（尤指头发的）厚，多

adj. 大量的

v. 以卷的形式发出；成团卷起

radius ˈreɪdiəs

n. 半径；半径范围，周围；（剖）桡骨；（昆）径脉；（棘皮动物或腔肠动物的）辐射对称轴

v. 使（角，边缘）成弧形

lemma ˈlemə

n. 引理；辅助定理；论点；膜

n. （Lemma）人名；（俄）莱玛；（意、埃塞）莱马

1-bit inner product quantization

As previously stated, we design two VQ algorithms: one optimized for minimizing MSE and the other for minimizing inner product error.

如前所述，我们设计了两种矢量量化（VQ）算法：一种以最小化均方误差（MSE）为目标，另一种以最小化内积误差为目标

We show that MSE-optimal quantizers do not necessarily provide unbiased inner product estimates, particularly exhibiting significant bias at lower bit-widths.

我们证明，MSE 最优量化器并不一定能给出无偏的内积估计，尤其是在低位宽场景下会表现出显著偏差

Our solution for inner product quantization is a two-stage algorithm.

针对内积量化问题，我们提出了两阶段解决方案

First, we apply the MSE-optimal quantizer using one less bit than the desired bit-width budget, thus minimizing the L2 norm of the residuals.

首先，使用比目标位宽少 1 比特的 MSE 最优量化器，从而最小化残差的 L2 范数

Next we apply an unbiased and optimal single-bit quantizer to the residual.

随后，对残差应用无偏的最优单比特量化器

For the single-bit inner product quantizer, we utilize the recently proposed Quantized Johnson-Lindenstrauss (QJL) algorithm [62], which is an optimal inner product quantizer with a bit-width of one.

单比特内积量化器采用了近期提出的量化约翰逊 - 林德斯特劳斯（QJL）算法 [62]，它是位宽为 1 的最优内积量化器

Here, we present the QJL algorithm and its essential theoretical guarantees.

本节将介绍 QJL 算法及其核心理论保证