量化理论与INT4/INT8
量化难点:理解低比特为什么会同时影响存储成本、带宽压力、算子吞吐和精度稳定性。
为什么量化能显著减少显存和带宽压力?

验证

对称量化、非对称量化、per-tensor、per-channel区别?

验证

PTQ、QAT、GPTQ、AWQ、GGUF理解

验证

量化什么时候考虑QAT?

验证

量化常见误区

验证

W8A16量化
模型变大后,推理最先遇到的是"权重太大、显存占用高、每一步都要从显存里读取很多数据。"
核心思想与概念

W8A16实现"压缩权重显存、缓解带宽压力"

绝对最大值量化公式,参见:课程链接
代码完善验证
