关于大型语言模型的结构修剪

本文介绍了一种名为 **LLM-Pruner** 的方法,用于对大型语言模型(LLMs)进行结构化剪枝,以减少模型大小和计算需求,同时保留其多任务解决和语言生成能力。LLM-Pruner 通过依赖检测和重要性估计实现高效剪枝,并结合低秩近似(LoRA)快速恢复模型性能。以下是文章的核心公式及其解释:


1. **依赖关系的定义**

文章定义了模型中结构之间的依赖关系,用于确定哪些结构需要同时剪枝。依赖关系的定义如下:

  • **公式 (1)**:

\[

N_j \in \text{Out}(N_i) \land \text{Deg}^-(N_j) = 1 \Rightarrow N_j \text{ 依赖于 } N_i

\]

其中,\(N_i\) 和 \(N_j\) 是模型中的两个神经元,\(\text{Out}(N_i)\) 表示指向 \(N_i\) 的神经元集合,\(\text{Deg}^-(N_j)\) 表示 \(N_j\) 的入度。如果 \(N_j\) 的入度为1且唯一依赖于 \(N_i\),则 \(N_j\) 依赖于 \(N_i\)。

  • **公式 (2)**:

\[

N_i \in \text{In}(N_j) \land \text{Deg}^+(N_i) = 1 \Rightarrow N_i \text{ 依赖于 } N_j

\]

其中,\(\text{In}(N_j)\) 表示从 \(N_j\) 指向的神经元集合,\(\text{Deg}^+(N_i)\) 表示 \(N_i\) 的出度。如果 \(N_i\) 的出度为1且唯一指向 \(N_j\),则 \(N_i\) 依赖于 \(N_j\)。

**作用**:这些公式用于自动检测模型中耦合的结构,确保剪枝时不会破坏模型的依赖关系。


2. **重要性估计**

为了决定哪些结构可以被剪枝,文章提出了基于梯度和近似 Hessian 矩阵的重要性估计方法。

  • **公式 (3)**:向量级重要性估计

\[

I_{W_i} = |\Delta L(D)| = |L_{W_i}(D) - L_{W_i=0}(D)| = \left|\frac{\partial L(D)}{\partial W_i} W_i - \frac{1}{2} W_i^\top H W_i + O(\|W_i\|^3)\right|

\]

其中,\(L\) 是模型的损失函数,\(D\) 是用于估计重要性的数据集,\(H\) 是 Hessian 矩阵。公式中忽略了 Hessian 矩阵的高阶项,因为计算复杂度较高。

  • **公式 (4)**:元素级重要性估计

\[

I_{W_k^i} = |\Delta L(D)| = |L_{W_k^i}(D) - L_{W_k^i=0}(D)| = \left|\frac{\partial L(D)}{\partial W_k^i} W_k^i - \frac{1}{2} W_k^i H_{kk} W_k^i + O(\|W_k^i\|^3)\right|

\]

其中,\(k\) 表示权重矩阵 \(W_i\) 中的第 \(k\) 个元素,\(H_{kk}\) 是 Hessian 矩阵的对角线元素,可以用 Fisher 信息矩阵近似。

  • **公式 (5)**:近似 Hessian 矩阵

\[

I_{W_k^i} \approx |L_{W_k^i}(D) - L_{W_k^i=0}(D)| \approx \left|\frac{\partial L(D)}{\partial W_k^i} W_k^i - \frac{1}{2} \sum_{j=1}^N \left(\frac{\partial L(D_j)}{\partial W_k^i} W_k^i\right)^2 + O(\|W_k^i\|^3)\right|

\]

其中,\(N\) 是数据集 \(D\) 的样本数量。

**作用**:这些公式用于评估每个结构或参数对模型性能的影响,帮助选择剪枝的目标。


3. **组重要性聚合**

文章提出了多种聚合方法来评估整个结构组的重要性:

  • **求和(Summation)**:

\[

I_G = \sum_{i=1}^M I_{W_i} \quad \text{或} \quad I_G = \sum_{i=1}^M \sum_k I_{W_k^i}

\]

  • **求积(Product)**:

\[

I_G = \prod_{i=1}^M I_{W_i} \quad \text{或} \quad I_G = \prod_{i=1}^M \prod_k I_{W_k^i}

\]

  • **取最大值(Max)**:

\[

I_G = \max_{i=1}^M I_{W_i} \quad \text{或} \quad I_G = \max_{i=1}^M \max_k I_{W_k^i}

\]

  • **仅最后执行的结构(Last-Only)**:

\[

I_G = I_{W_l} \quad \text{或} \quad I_G = \sum_k I_{W_k^l}

\]

其中,\(l\) 是组中最后执行的结构。

**作用**:这些聚合方法用于将单个结构或参数的重要性汇总为组的重要性,以便决定哪些组可以被剪枝。


4. **快速恢复阶段**

为了快速恢复剪枝后的模型性能,文章使用了低秩近似(LoRA)方法。具体公式如下:

  • **公式 (6)**:LoRA 更新

\[

\Delta W = PQ \quad \text{其中} \quad P \in \mathbb{R}^{d^- \times d}, \quad Q \in \mathbb{R}^{d \times d^+}

\]

\[

f(x) = (W + \Delta W)X + b = (WX + b) + (PQ)X

\]

其中,\(W\) 是模型的权重矩阵,\(\Delta W\) 是更新值,\(P\) 和 \(Q\) 是低秩矩阵,\(d\) 是低秩维度。

**作用**:LoRA 通过分解权重矩阵的更新值为两个低秩矩阵的乘积,减少了优化参数的数量,从而加速模型的恢复过程。


5. **实验结果**

文章在多个大型语言模型(如 LLaMA、Vicuna 和 ChatGLM)上验证了 LLM-Pruner 的效果。实验结果表明:

  • 在 20% 的剪枝率下,模型保留了 94.97% 的原始性能。

  • 使用 LoRA 恢复后,模型的性能进一步提升,且仅需 3 小时的调优时间。

  • 剪枝后的模型在零样本分类和生成任务中表现出色,且计算效率显著提高。


总结

LLM-Pruner 通过依赖关系检测和重要性估计实现了对大型语言模型的高效结构化剪枝,并结合 LoRA 快速恢复模型性能。这种方法在减少模型大小和计算需求的同时,保留了模型的多任务能力和语言生成能力。

相关推荐
Ai工具分享15 分钟前
6 种AI实用的方法,快速修复模糊照片
人工智能
dundunmm18 分钟前
【每天一个知识点】如何解决大模型幻觉(hallucination)问题?
人工智能·数据挖掘·大模型
勤奋的小懒猪21 分钟前
Halcon应用:相机标定之应用
图像处理·人工智能·计算机视觉
白熊18821 分钟前
【计算机视觉】CV实战项目- 深度解析FaceAI:一款全能的人脸检测与图像处理工具库
图像处理·人工智能·计算机视觉
量子位35 分钟前
实测免费 DeepResearch!轻量版深夜上线,基于 o4-mini,速度更快 / 重视脉络梳理
人工智能·openai
nenchoumi311938 分钟前
VLA 论文精读(十八)π0.5: a Vision-Language-Action Model with Open-World Generalization
论文阅读·人工智能·深度学习·语言模型·vla
云天徽上40 分钟前
【数据可视化-30】Netflix电影和电视节目数据集可视化分析
人工智能·机器学习·信息可视化·数据挖掘
MerlinTheMagic1 小时前
Spring AI 核心概念
java·人工智能·spring
字节跳动技术团队1 小时前
MySQL 遇到 AI:字节跳动开源 MySQL 虚拟索引 VIDEX
人工智能
字节跳动技术团队1 小时前
字节跳动开源 Godel-Rescheduler:适用于云原生系统的全局最优重调度框架
人工智能