论文笔记 SliceGPT: Compress Large Language Models By Deleting Rows And Columns

欲买桂花同载酒，终不似，少年游。

数学知识

秩：矩阵中最大线性无关的行/列向量数。行秩与列秩相等 。

线性无关：对于N个向量而言，如果任取一个向量 v \textbf{v} v，不能被剩下的N-1个向量通过线性组合的方式表示，则称这N个向量为线性无关。

SliceGPT: Compress Large Language Models By Deleting Rows And Columns

主要剪枝的效果：

将权重矩阵的尺寸缩小，变成更小的矩阵。具体而言是乘以一个Deleting Matrix ： D \textbf{D} D。这个矩阵实际上是通过构造一个正交矩阵，再做PCA删除一些行/列得到。
减少embedding dimension。与权重矩阵的缩小对应。
可以参考Figure 1中右图

0. Introduction

目前许多权重剪枝的方法都需要RFT（recovery fine-tuning），耗时并且可拓展性差。

SliceGPT无需RFT也能有良好的效果。

本文的三大Contributions

引入了计算不变性。对于transformer中的权重矩阵做正交变换。简而言之就是乘上一个正交矩阵和正交矩阵的转置，计算结果不变。
使用signal matrix计算正交阵，利用PCA，在其主成分方向做投影后，与权重矩阵相乘，移去部分columns和rows以达到权重剪枝的目的。
在多个模型，不同任务上做实验并证明效果良好。

常见的稀疏化方法：

magnitude-based：移除绝对值较小的权重，但性能损失较大。
OBS（optimial brain surgeon）：使用Hessian矩阵来更新weight，移除对loss函数影响最小的weight。但是计算Hessian的逆过于复杂，尤其是大模型。
针对OBS的问题：
1. 近似Hessian，如WoodFisher
2. 逐层使用OBS，比如OBC（optimal brain compression）。
GPTQ：量化权重矩阵。
sparseGPT：半结构化/非结构化剪枝
仅使用Hessian的对角项（对角近似）

2. Transformer模型架构回顾。

相关信息可以参阅CSDN或知乎关于Transformer原文的详解，也可以参考我的这篇文章（内容比较简略）：Transformer架构笔记

一个典型的Transformer中Encoder的结构Figure 2所示，作者把这样一个结构称为Transformer Block （不同的Transformer实现可能有所不同）：

简要回顾一下Transformer的主要组件，以及约定符号表示。

一个标准的Transformer Block 包含Attention Block ，FFN Block ，LayerNorm层。Transformer在起始阶段有embedding层将sequence转为嵌入向量，末尾有一个输出层,文中称为Language Modelling Head，将embedding转为对下一个word的预测。

Embeddings 层：将sequence： S S S，转为embedding： X ∈ R N × D \textbf{X} \in R^{N \times D} X∈RN×D。其中 N N N为序列长度， D D D为嵌入向量的长度，同时一般也是模型当中统一的hidden dimension。 W embd ∈ R h × D W_\text{embd} \in R^{h \times D} Wembd∈Rh×D为该层的权重矩阵。 h h h为one-hot编码长度。
LN 层（LayerNorm ）：标准的Transformer使用LN，而作者使用RMSNorm 原因是其具有计算不变性（Computational Invariance）。RMSNorm相比于LN而言计算更简单，每个元素只除以RMS （均方根 ，并且这里求均方根时，统计的是 X \textbf{X} X中的所有元素 : 共 N × D N \times D N×D个，这也是为什么后面要乘以一个 D \sqrt{D} D 的原因。LN是对每个样本做归一化，即按行归一化 ）即可，LN与RMSNorm之间的关系如下：
LayerNorm ( X ) = RMSNorm ( X M ) diag ( α ) D + 1 N β ⊤ (1) \text{LayerNorm}(\mathbf{X})=\text{RMSNorm}(\mathbf{X}\mathbf{M})\text{diag}(\mathbf{\alpha})\sqrt{D}+\mathbf{1}_N\beta^\top \tag1 LayerNorm(X)=RMSNorm(XM)diag(α)D +1Nβ⊤(1)

其中：
M = I − 1 D 1 ⋅ 1 T s . t . I ∈ R D × D , 1 ∈ R D × 1 \textbf{M} = I - \frac{1}{D}1 \cdot 1^T \quad s.t. \quad I \in \mathbb{R}^{D \times D}, \ 1 \in \mathbb{R}^{D \times 1} M=I−D11⋅1Ts.t.I∈RD×D, 1∈RD×1

输入乘上 M \textbf{M} M相当于逐行减去mean。 d i a g ( α ) diag(\alpha) diag(α)为缩放系数， β \beta β为偏置项。

Attention Blocks ：使用多头注意力， W k , W q , W v , W o , \mathbf{W}k,\mathbf{W}q,\mathbf{W}v\mathrm{,}\mathbf{W}o, Wk,Wq,Wv,Wo,分别对应K, Q, V, Output的权重矩阵。（output是一个Linear，把各个head拼接后的embedding再映射回去）。Attention Block用以下公式表示：
σ ( W i n + b i n ) W o u t + b o u t (2) \sigma(\mathbf{W}{\mathrm{in}}+\boldsymbol{b}{\mathrm{in}})\mathbf{W}{\mathrm{out}}+\boldsymbol{b}{\mathrm{out}} \tag2 σ(Win+bin)Wout+bout(2)

作者把 W k , W q , W v \mathbf{W}_k,\mathbf{W}_q,\mathbf{W}v Wk,Wq,Wv统称为 W i n W{in} Win，因为这几个矩阵对attention block的输入做线性变换，把 W o \mathbf{W}o Wo称为 W o u t \mathbf{W}{out} Wout，因为是attention中的输出层（多头注意力中把concatenated embedding映射回原维度）。
FFN Blocks : σ ( XW in ) W out \sigma(\textbf{XW}\text{in})\textbf{W}\text{out} σ(XWin)Wout。即MLP，简而言之就是先后做两次线性变换，先升维，再还原维度。
LM Head ： XW head + b head \textbf{XW}\text{head} + \textbf{b}\text{head} XWhead+bhead。其中 X \textbf{X} X为最后一个FFN Block的输出。LM Head输出即为最终的预测word。

Transformer整体的前向传播流程如Algorithm1所示：

3.SliceGPT

Key Idea ：Computational Invariance 。即：对线性层（使用nn.Linear的层如Attention，FFN）施加正交变换，计算结果不变。

3.1 Transformer中的computational invariance的说明

正交矩阵的保范性：假设 Q \textbf{Q} Q为正交矩阵，则 Q Q T = I \textbf{Q}\textbf{Q}^T = \textbf{I} QQT=I，对于向量 x \textbf{x} x， ∣ ∣ Qx ∣ ∣ = x T Q T Qx = x T x = ∣ ∣ x ∣ ∣ ||\textbf{Q}\textbf{x}|| = \sqrt{\textbf{x}^T\textbf{Q}^T\textbf{Q}\textbf{x}} = \sqrt{\textbf{x}^T\textbf{x}} = || \textbf{x} || ∣∣Qx∣∣=xTQTQx =xTx =∣∣x∣∣。即向量乘以正交阵不改变其范数。这里列出的是L2范数。

作者指出RMSNorm具有计算不变性，如eq2所示，作者在Appendix A.1给出了证明：
R M S N o r m ( X ℓ Q ) Q ⊤ = R M S N o r m ( X ℓ ) . (2) \mathrm{RMSNorm}(\mathbf{X}\ell\mathbf{Q})\mathbf{Q}^\top=\mathrm{RMSNorm}(\mathbf{X}\ell) . \tag2 RMSNorm(XℓQ)Q⊤=RMSNorm(Xℓ).(2)

3.1（续）定理一以及证明：

定理一 ：作者指出，给Transformer当中的权重矩阵施加正交变换 ，能够保证其计算不变性：
W ~ e m b d = W e m b d Q , (3) b ~ o u t ℓ = b o u t ℓ Q , (6) W ~ i n ℓ = Q ⊤ W i n ℓ , (4) W ~ h e a d = Q ⊤ W h e a d . (7) W ~ o u t ℓ = W o u t ℓ Q , (5) \begin{array}{crcr} \tilde{\mathbf{W}}{embd}=\mathbf{W}{embd}\mathbf{Q}, \qquad & \text{(3)} & \qquad \tilde{\boldsymbol{b}}{out}^{\ell}=\boldsymbol{b}{out}^{\ell} \mathbf{Q}, \qquad & \text{(6)} \\ \tilde{\mathbf{W}}{in}^{\ell}=\mathbf{Q}^{\top}\mathbf{W}{in}^{\ell}, \qquad & \text{(4)} & \qquad \tilde{\mathbf{W}}{head}=\mathbf{Q}^{\top}\mathbf{W}{head} .\qquad & \text{(7)} \\ \tilde{\mathbf{W}}{out}^{\ell}=\mathbf{W}{out}^{\ell}\mathbf{Q}, \qquad & \text{(5)} & \end{array} W~embd=WembdQ,W~inℓ=Q⊤Winℓ,W~outℓ=WoutℓQ,(3)(4)(5)b~outℓ=boutℓQ,W~head=Q⊤Whead.(6)(7)

加波浪线的为变换后（microsoft实现代码中称为rotate 即旋转）

注：原文中eq.6为 b ~ o u t ℓ = Q ⊤ b o u t ℓ \tilde{\boldsymbol{b}}{out}^{\ell}=\mathbf{Q}^\top\boldsymbol{b}{out}^{\ell} b~outℓ=Q⊤boutℓ，好像有问题，正在向作者咨询。
注： b ~ i n ℓ = b i n ℓ , b ~ h e a d = b h e a d . \tilde{\boldsymbol{b}}{in}^{\ell}=\boldsymbol{b}{in}^{\ell},\tilde{\boldsymbol{b}}{head}=\boldsymbol{b}{head}. b~inℓ=binℓ,b~head=bhead.

在这里我们也可以简单证明一下。我们参考Algorithm 1中1-7行，对前向传播的各个步骤给出对应的公式：
1 ⁣ : X ← S W e m b d 2 ⁣ : X ← R M S N o r m 0 ( X ) 3 ⁣ : f o r ℓ = 1 ... L d o 4 : Z ← σ ℓ ( X W i n ℓ + b i n ℓ ) W o u t ℓ + b o u t ℓ 5 : X ← R M S N o r m ℓ ( X + Z ) 6 : end for 7 : return XW h e a d + b h e a d \begin{aligned} &1\colon\mathbf{X} \leftarrow S\mathbf{W}{\mathrm{embd}}\\ &2\colon\mathbf{X} \leftarrow \mathrm{RMSNorm}0(\mathbf{X})\\ &3\colon\mathbf{for}\ell=1\ldots L\mathbf{~do}\\ &4{:}\quad\mathbf{Z} \leftarrow \sigma\ell(\mathbf{XW}{\mathrm{in}}^\ell+\boldsymbol{b}{\mathrm{in}}^\ell)\mathbf{W}{\mathrm{out}}^\ell+\boldsymbol{b}{\mathrm{out}}^\ell\\ &5{:}\quad\mathbf{X} \leftarrow \mathrm{RMSNorm}\ell(\mathbf{X}+\mathbf{Z})\\ &6{:}\textbf{ end for}\\ &7{:}\textbf{ return XW}{\mathrm{head}}+\mathbf{b}{\mathrm{head}} \end{aligned} 1:X←SWembd2:X←RMSNorm0(X)3:forℓ=1...L do4:Z←σℓ(XWinℓ+binℓ)Woutℓ+boutℓ5:X←RMSNormℓ(X+Z)6: end for7: return XWhead+bhead

其中 S ∈ R N × h ， W e m b d ∈ R h × D ， W h e a d ∈ R D × h S \in R^{N \times h}， \mathbf{W}{\mathrm{embd}} \in R^{h \times D}，\mathbf{W}{\mathrm{head}} \in R^{D \times h} S∈RN×h，Wembd∈Rh×D，Whead∈RD×h。为了简化，统一认为 W i n , W o u t ∈ R D × D \mathbf{W}{\mathrm{in}}, \mathbf{W}{\mathrm{out}} \in R^{D \times D} Win,Wout∈RD×D。其中 N N N为序列长度， h h h为one-hot编码的长度， D D D为hidden dimension（或者叫embedding dimension）。

施加正交矩阵 Q \mathbf{Q} Q后的各步骤公式如下，我们将 X , X ~ \mathbf{X}, \tilde{\mathbf{X}} X,X~分别表示为施加正交变换前，正交变换后block的输入/输出：

line1 : S W ~ e m b d = S W e m b d Q = X Q → X ~ \text{line1}: S\tilde{\mathbf{W}}{\mathrm{embd}} = S\mathbf{W}{\mathrm{embd}}\mathbf{Q} = \mathbf{XQ} \rightarrow \tilde{\mathbf{X}} line1:SW~embd=SWembdQ=XQ→X~
line2 : RMSNorm ( X ~ ) = RMSNorm ( X Q ) = RMSNorm ( X ) Q → X ~ \text{line2}: \text{RMSNorm}(\tilde{\mathbf{X}}) = \text{RMSNorm}(\mathbf{X}\mathbf{Q}) = \text{RMSNorm}(\mathbf{X})\mathbf{Q} \rightarrow \tilde{\mathbf{X}} line2:RMSNorm(X~)=RMSNorm(XQ)=RMSNorm(X)Q→X~
line4 : σ ℓ ( X ~ W ~ i n ℓ + b ~ i n ℓ ) W ~ o u t ℓ + b ~ o u t ℓ = σ ℓ ( X Q Q ⊤ W i n ℓ + b i n ℓ ) W o u t ℓ Q + b o u t ℓ Q = ( σ ℓ ( X W i n ℓ + b i n ℓ ) W o u t ℓ + b o u t ℓ ) Q = Z Q → Z ~ \text{line4}: \sigma_\ell(\mathbf{\tilde{X}\tilde{W}}{\mathrm{in}}^\ell+\boldsymbol{\tilde{b}}{\mathrm{in}}^\ell)\mathbf{\tilde{W}}{\mathrm{out}}^\ell+\boldsymbol{\tilde{b}}{\mathrm{out}}^\ell = \sigma_\ell(\mathbf{X Q Q^\top W}{\mathrm{in}}^\ell+\boldsymbol{b}{\mathrm{in}}^\ell)\mathbf{W}{\mathrm{out}}^\ell \mathbf{Q}+\boldsymbol{b}{\mathrm{out}}^\ell \mathbf{Q} = (\sigma_\ell(\mathbf{XW}{\mathrm{in}}^\ell+\boldsymbol{b}{\mathrm{in}}^\ell)\mathbf{W}{\mathrm{out}}^\ell+\boldsymbol{b}{\mathrm{out}}^\ell)\mathbf{Q} = \mathbf{ZQ} \rightarrow \tilde{\mathbf{Z}} line4:σℓ(X~W~inℓ+b~inℓ)W~outℓ+b~outℓ=σℓ(XQQ⊤Winℓ+binℓ)WoutℓQ+boutℓQ=(σℓ(XWinℓ+binℓ)Woutℓ+boutℓ)Q=ZQ→Z~
line5 : RMSNorm ( X ~ + Z ~ ) = RMSNorm ( X Q + Z Q ) = RMSNorm ( X + Z ) Q = X Q → X ~ \text{line5}: \text{RMSNorm}(\tilde{\mathbf{X}} + \tilde{\mathbf{Z}}) = \text{RMSNorm}(\mathbf{XQ} + \mathbf{ZQ}) = \text{RMSNorm}(\mathbf{X} + \mathbf{Z})\mathbf{Q} = \mathbf{XQ} \rightarrow \mathbf{\tilde{X}} line5:RMSNorm(X~+Z~)=RMSNorm(XQ+ZQ)=RMSNorm(X+Z)Q=XQ→X~
line7 : X ~ W ~ head + b ~ head = X Q Q ⊤ W head + b head = X W head + b head → X ~ = X \text{line7}: \mathbf{\tilde{X}}\mathbf{\tilde{W}}\text{head} + \boldsymbol{\tilde{b}}\text{head} = \mathbf{X Q Q^\top W_\text{head}} + \boldsymbol{b}\text{head} = \mathbf{X W\text{head}} + \boldsymbol{b}_\text{head} \rightarrow \mathbf{\tilde{X}} = \mathbf{X} line7:X~W~head+b~head=XQQ⊤Whead+bhead=XWhead+bhead→X~=X

发现 line7 \text{line7} line7 结果相等。综上，可以证明变换前后输出不变。

3.2 Transformer中LN向RMSNorm的转换：

根据eq.1我们可以知道LN与RMSNorm之间存在转换关系。其中最重要的两个就是mean-substraction: M \mathbf{M} M，以及系数: diag ( α ) \text{diag}(\alpha) diag(α)。作者指出，可以将LayerNorm中的这两个步骤分别放在前一个Block与后一个Block当中，如Figure 3所示。可以对比一下Figure 2与Figure 3 有哪些不同。

可以发现， W in \mathbf{W}\text{in} Win都是左乘 diag ( α ) \text{diag}(\alpha) diag(α)，而 W out \mathbf{W}\text{out} Wout均为右乘 M \mathbf{M} M。除了考虑Figure 3中所包含的Attention Block以及FFN Block当中的 W in \mathbf{W}\text{in} Win与 W out \mathbf{W}\text{out} Wout以外，考虑 W embd , W head \mathbf{W}\text{embd}, \mathbf{W}\text{head} Wembd,Whead应该分别左乘 diag ( α ) \text{diag}(\alpha) diag(α)、右乘 M \mathbf{M} M。（这里其实很好理解，因为embedding层位于第一个LN层 的前面，而LM Head层恰好在最后一个LN层的后面）

用矩阵运算求均值 ：乘以矩阵 M M M即可。对最后一个维度求均值（对一行求均值）：
M = I − 1 D 1 ⋅ 1 T s . t . I ∈ R D × D , 1 ∈ R D × 1 M = I - \frac{1}{D}1 \cdot 1^T \quad s.t. \quad I \in \mathbb{R}^{D \times D}, \ 1 \in \mathbb{R}^{D \times 1} M=I−D11⋅1Ts.t.I∈RD×D, 1∈RD×1

因此严格来说，将LayerNorm中的均值相减操作融合至前一个block后，似乎与原始的模型不太一致，因为矩阵乘法不遵循交换律 。但代码实现中直接对权重矩阵做了mean-substraction操作。本人理解可能是作者为了简便，以及希望可以pre-compute W in \mathbf{W}_\text{in} Win 的一种权宜之计 。（这里加粗处存疑，如有问题请大佬指正）

3.3 Transformation Per Block

作者指出，对不同的Block，应该根据当前输入的signal matrix的不同，计算得到不同的正交阵 Q \mathbf{Q} Q。但是Algorithm 1中 line 5 \text{line 5} line 5会存在等式不相等的情况：
( X ~ + Z ~ ) = ( X Q ℓ − 1 + Z Q ℓ ) ≠ ( X + Z ) Q ℓ . 因为不同Block正交阵不相等 (\tilde{\mathbf{X}} + \tilde{\mathbf{Z}}) = (\mathbf{X}\mathbf{Q}{\ell - 1} + \mathbf{Z}\mathbf{Q}\ell) \neq (\mathbf{X} + \mathbf{Z})\mathbf{Q}_\ell. \quad \text{因为不同Block正交阵不相等} (X~+Z~)=(XQℓ−1+ZQℓ)=(X+Z)Qℓ.因为不同Block正交阵不相等

本质原因是存在Residual Connection 。故每一个残差连接对应的 X \textbf{X} X应当右乘 Q ℓ − 1 Q ℓ \mathbf{Q}{\ell - 1}\mathbf{Q}\ell Qℓ−1Qℓ，以保证 line 5 \text{line 5} line 5等式成立。

最终的经过变换后的 Transformer Block示意图如Figure 4所示：

3.3(续)如何构造正交阵Q

作者提出根据每一层不同的signal matrix，分别构造不同的正交阵。公式如下：
C ℓ = ∑ i X ℓ , i ⊤ X ℓ , i (8) \mathbf{C}{\ell}=\sum{i}\mathbf{X}{\ell,i}^{\top}\mathbf{X}{\ell,i} \tag8 Cℓ=i∑Xℓ,i⊤Xℓ,i(8)

其中 X ℓ , i \mathbf{X}{\ell,i} Xℓ,i表示第 ℓ \ell ℓ个 RMSNorm \text{RMSNorm} RMSNorm层对于第 i i i个sequence的输出。 Q ℓ \mathbf{Q}\ell Qℓ即为 C ℓ \mathbf{C}_{\ell} Cℓ经过特征分解后，按特征值从大到小排列的所有特征向量所构成的矩阵。

注： C ℓ \mathbf{C}_{\ell} Cℓ为对称矩阵 ，有什么意义？首先实对称矩阵的特征值肯定为实数。

3.4 Slicing

类似PCA当中的操作，选取 Q \mathbf{Q} Q的特征值最大的 D small D_\text{small} Dsmall个特征向量，构造删除矩阵 D ∈ R D × D small \mathbf{D} \in R^{D \times D_\text{small}} D∈RD×Dsmall，将 X \mathbf{X} X映射为一个低纬度的特征 Z \mathbf{Z} Z，然后再经过正交阵的转置，又变换回 X ~ \tilde{\mathbf{X}} X~，相当于reconstruction的过程。如以下公式所示：

Z = X Q D , X ~ = Z D ⊤ Q ⊤ . (9) \mathbf{Z}=\mathbf{X}\mathbf{Q}\mathbf{D}\mathrm{~,~~~~}\tilde{\mathbf{X}}=\mathbf{Z}\mathbf{D}^{\top}\mathbf{Q}^{\top}. \tag9 Z=XQD , X~=ZD⊤Q⊤.(9)

具体的slice过程如下图所示（Figure 1的右图）

多头注意力机制实现方法：

第一种实现：将输入向量降维成多个低维向量，比如8个头，embedding维度为512，那么就有24个Linear(512, 64)，其中8个作为 W q W_q Wq，8个作为 W k W_k Wk，8个作为 W v W_v Wv，这里Linear(512, 64)即是权重矩阵，也起到降维作用。然后8个降维后的向量各自做各自的attention，得到attention中每个head的输出（每个维度为64），再把这8个输出拼接起来，得到维度为512，然后再经过一个线性层Linear(512,512)，得到multi-head attention最终的输出。
第二种实现：还是8个头的注意力机制，但是 W q ， W k ， W v W_q，W_k，W_v Wq，Wk，Wv都只有一个，为Linear(512,512)，然后将 W q ， W k ， W v W_q，W_k，W_v Wq，Wk，Wv输出的embedding reshape（使用view函数），把shape变换为[N, seq, head_num, head_dim]分别对应为样本数，序列长度，head数量，每个head分得的维度数（比如8个头，则shape为[N, seq, 8, 64]），然后直接做点乘，最后再reshape将维度变换回去，再经过线性层Linear(512,512)，得到多头注意力机制的最终输出。

问题

如何做Fusion ？即如何将LN中的Linear operation融合至相邻线性层？
Embedding层只做了mean substraction。其余层直接和LN层的参数做element-wise multiplication 。相当于乘以了缩放系数，这里没问题。
如何求解正交矩阵 Q \mathbf{Q} Q？对signal matrix（指的是input / embedding）使用PCA，QR分解（后续需补充QR分解和特征分解的关系）。
文中提到哪些部分不能pre-computed ？指的是 Q ℓ − 1 Q ℓ \mathbf{Q}{\ell - 1}\mathbf{Q}\ell Qℓ−1Qℓ，可以从代码实现中看到，该算法是一边forward，一边剪枝 ，也就是需要等当前的Block前向传播完毕后，拿到当前Block的输出（下一个Block的输入），才能开始计算下一个Block的 Q \mathbf{Q} Q。比如当前是第 ℓ − 1 \ell - 1 ℓ−1个Block，等这一个Block前向传播完毕后，才能开始算 Q ℓ \mathbf{Q}_{\ell} Qℓ。
Norm层的可学习参数是指的哪些？指 γ ， β \gamma，\beta γ，β即缩放系数和偏移量: https://www.cnblogs.com/tian777/p/17911800.html
Convolutional Layer是否也具有计算不变性？
LN层为什么不具备计算不变性？
解释RMSNorm为什么具备计算不变性？

词语释义

cornerstone 基石

post-hoc = after this 事后的adj./事后adv.

complementary 补充的

undertaking 任务/项目

so long as 只要

whilst 与此同时

参考链接

SliceGPT原文链接
SliceGPT源码
LLM大模型压缩------ICLR 2024 SliceGPT（原理详解）
SliceGPT概述
Phi-2 Transformer模型代码
(作者的实验代码中给出了Phi-2 对应的ModelAdapter 以及LayerAdapter的实现)
机器之心: SliceGPT