LLM 压缩之二: ShortGPT

0. 资源链接

1. 背景动机

现有的大语言模型 LLM 推理存在以下问题:

  • LLM 模型因为 scale law 极大的提高模型的预测能力,但是同样带来较大的推理延时;对于 LLM 应用部署带来较大的挑战。

  • 目前的大模型加速的方法主要分为量化和压缩两种,目前量化和压缩一般需要训练以恢复模型精度,尤其量化较低比特时。

2. 内容提要

  • 通过分析大模型存在的冗余性,发现在模型深度的维度存在大量的冗余;可以通过简单的去除冗余层来加速。

  • 本文提出了一个 BI score 的指标来表征层的重要性,基于 BI score,本文提出一个简单的深度剪枝方法。

3. 技术细节

  • BI score 计算公式:
  • 层冗余分析:

  • Layer 剪枝

    • 基于 BI score 排序,减去 BI score 小的层。

4. 实验分析

5. 一些思考

  • ShortGPT 给大模型剪枝提供了一个新视角,对后续的剪枝算法有较大启发。

  • ShortGPT 目前还比较简单,后续应该会有更多的工作出现,优化当前的方案。

相关推荐
Chaos_Wang_6 小时前
NLP高频面试题(三十)——LLama系列模型介绍,包括LLama LLama2和LLama3
人工智能·自然语言处理·llama
艾鹤9 小时前
ollama安装与使用
人工智能·llama
清易1 天前
windows大模型llamafactory微调
llama
漠北尘-Gavin2 天前
【Python3.12.9安装llama-cpp-python遇到编译报错问题解决】
python·llama
爱听歌的周童鞋2 天前
理解llama.cpp如何进行LLM推理
llm·llama·llama.cpp·inference
溯源0062 天前
vscode调试python(transformers库的llama为例)
vscode·python·llama
Flying`3 天前
LLaMA-Factory微调实操记录
llama
张飞飞飞飞飞3 天前
通过Llama-Factory对Deepseek-r1:1.5b进行微调
llama
喜欢吃豆4 天前
LLaMA-Factory使用实战
人工智能·大模型·json·llama
智享AI4 天前
使用 LLaMA-Factory 微调 llama3 模型
llama