【LLM】大模型微调,压缩,量化,部署(还在缓慢更新

前段时间很忙一直没时间follow最近的大模型工作,最近几天闲一点了...这个可能会出现整理不全或者是结果没跑完的情况,我尽量快一点(如果最近没啥事的话),有啥想法可以在评论区d一下我。

LLM排行榜 : https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

可能有一些解读有些的不清楚的地方,这一篇也可以当做是评论帖(轻点骂

一. 微调

1.1 Adapter Tuning

Parameter-Efficient Transfer Learning for NLP

【代码参考】https://github.com/Adapter-Hub/adapter-transformers

【论文】Adapter Tuning

【论文解读】https://zhuanlan.zhihu.com/p/626819173

1.2 Prefix Tuning

【官方代码】https://github.com/XiangLi1999/PrefixTuning

【论文】https://aclanthology.org/2021.acl-long.353.pdf

【代码解读】https://blog.csdn.net/weixin_50862344/article/details/133947019

1.3Prompt Tuning

【官方代码】https://github.com/kipgparker/soft-prompt-tuning

【论文】https://aclanthology.org/2021.emnlp-main.243.pdf

【代码解读】https://blog.csdn.net/weixin_50862344/article/details/133953048

1.4 P-Tuning

P-Tuning一共是两篇工作

1.4.1 GPT Understands, Too

【官方代码】https://github.com/THUDM/P-tuning

【论文】https://arxiv.org/pdf/2103.10385v1.pdf

【代码解读】

1.4.2 P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

【官方代码】https://github.com/thudm/p-tuning-v2

【论文】https://arxiv.org/pdf/2110.07602v3.pdf

【代码解读】来自知乎 : https://zhuanlan.zhihu.com/p/423902902

1.5 LoRA

【论文解析】https://blog.csdn.net/weixin_50862344/article/details/130450277

1.6 AdaLoRA

https://paperswithcode.com/paper/adaptive-budget-allocation-for-parameter

1.7 BitFit

1.8 MAM Adapter

【论文】来自知乎https://zhuanlan.zhihu.com/p/491407745

1.9 UniPELT

【pwc】https://paperswithcode.com/paper/unipelt-a-unified-framework-for-parameter

【知乎解析】https://zhuanlan.zhihu.com/p/618894319

二. 量化

2.1 量化基础知识

2.1.1 常见数值表示方式

  • Float32 (FP32) :标准的 IEEE 32 位浮点表示,指数 8 位,尾数 23 位,符号 1
    位,可以表示大范围的浮点数。大部分硬件都支持 FP32 运算指令。
  • Float16 (FP16) :指数 5 位,尾数 10 位,符号 1 位。 FP16 数字的数值范围远低于 FP32,存在上溢 (当用于表示非常大的数时) 和下溢 (当用于表示非常小的数时) 的风险,通过缩放损失 (loss scaling) 来缓解这个问题。
  • Bfloat16 (BF16):指数 8 位 (与 FP32相同),尾数 7 位,符号 1 位。这意味着 BF16 可以保留与 FP32 相同的动态范围。但是相对于 FP16,损失了 3位精度。因此,在使用 BF16 精度时,大数值绝对没有问题,但是精度会比 FP16 差。
  • TensorFloat-32(TF32) :使用19 位表示,结合了 BF16 的范围和 FP16的精度,是计算数据类型而不是存储数据类型。目前使用范围较小。
    【参考】https://zhuanlan.zhihu.com/p/627436535
  1. Quant

  2. INT8

    【代码仓库】https://github.com/TimDettmers/bitsandbytes

    【代码测试】使用int8训练bert

  3. QLoRA

    【论文解读】https://blog.csdn.net/weixin_50862344/article/details/133917723

    【测试】

  4. GPTQ

    【代码仓库】官方代码Llama上使用GPTQ

https://paperswithcode.com/paper/bitnet-scaling-1-bit-transformers-for-large

相关推荐
MYZR11 天前
瑞萨电子:嵌入式计算与芯片技术的创新引领者
人工智能·核心板·ssd2351
胡耀超1 天前
大模型架构演进全景:从Transformer到下一代智能系统的技术路径(MoE、Mamba/SSM、混合架构)
人工智能·深度学习·ai·架构·大模型·transformer·技术趋势分析
小杨勇敢飞1 天前
UNBIASED WATERMARK:大语言模型的无偏差水印
人工智能·语言模型·自然语言处理
m0_603888711 天前
Delta Activations A Representation for Finetuned Large Language Models
人工智能·ai·语言模型·自然语言处理·论文速览
金融小师妹1 天前
基于哈塞特独立性表态的AI量化研究:美联储政策独立性的多维验证
大数据·人工智能·算法
qinyia1 天前
Wisdom SSH 是一款创新性工具,通过集成 AI 助手,为服务器性能优化带来极大便利。
服务器·人工智能·ssh
昨日之日20061 天前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper1 天前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号1 天前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha1 天前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能