大模型量化方案

nullhttps://zhuanlan.zhihu.com/p/6281447174

• 大模型量化概述
• 量化感知训练：
  • 大模型量化感知训练技术原理：LLM-QAT
  • 大模型量化感知微调技术原理：QLoRA
• 训练后量化：
  • 大模型量化技术原理：GPTQ、LLM.int8()
  • 大模型量化技术原理：SmoothQuant
  • 大模型量化技术原理：AWQ、AutoAWQ
  • 大模型量化技术原理：SpQR
  • 大模型量化技术原理：ZeroQuant系列
  • 大模型量化技术原理：FP8
  • 大模型量化技术原理：FP6
  • 大模型量化技术原理：KIVI、IntactKV、KVQuant
  • 大模型量化技术原理：Atom、QuaRot
  • 大模型量化技术原理：QoQ量化及QServe推理服务系统
  • 大模型量化技术原理：FP4
• 大模型量化技术原理：总结