【llm-algo-leetcode学习笔记】量化优化手段

量化理论与INT4/INT8

量化难点:理解低比特为什么会同时影响存储成本、带宽压力、算子吞吐和精度稳定性。

为什么量化能显著减少显存和带宽压力?

验证

对称量化、非对称量化、per-tensor、per-channel区别?

验证

PTQ、QAT、GPTQ、AWQ、GGUF理解

验证

量化什么时候考虑QAT?

验证

量化常见误区

验证

W8A16量化

模型变大后,推理最先遇到的是"权重太大、显存占用高、每一步都要从显存里读取很多数据。"

核心思想与概念

W8A16实现"压缩权重显存、缓解带宽压力"

绝对最大值量化公式,参见:课程链接

代码完善验证

相关推荐
wangqiaowq1 小时前
Ontology 学习
学习
choumou_M3 小时前
算法_1:由浅入深学习快速排序QuickSort
学习·算法·排序算法
一壶浊酒伴余生4 小时前
新概念英语第一册 · 句法笔记
笔记·英语学习·英语语法·新概念英语
蒸蒸yyyyzwd7 小时前
后端学习笔记 day111
笔记·学习
叼烟扛炮8 小时前
[LangChain] 学习笔记(08):工具调用底层闭环与第三方搜索(Tavily)实战
人工智能·笔记·学习·langchain
Century_Dragon9 小时前
让新能源故障诊断实训“触手可及“——仿真教学软件(VR)介绍
学习
江屿风9 小时前
【Git-组件】【Git入门:从文档灾难到版本掌控】流食般投喂
运维·笔记·git·组件·版本控制
楚山之石9 小时前
【Radiology】影像组学的标准化与可重复性:IBSI 卷积滤波器共识及其未能覆盖的环节
人工智能·学习·机器学习·mri
小李不想当小白10 小时前
HAL库之UART(STM32 HAL库学习笔记)
笔记·stm32·单片机·嵌入式硬件·学习·嵌入式
旖旎夜光11 小时前
【C++ 基础入门】C++ 多态(中):虚函数表、多态原理与动静绑定
开发语言·c++·笔记·学习