【llm-algo-leetcode学习笔记】量化优化手段

量化理论与INT4/INT8

量化难点:理解低比特为什么会同时影响存储成本、带宽压力、算子吞吐和精度稳定性。

为什么量化能显著减少显存和带宽压力?

验证

对称量化、非对称量化、per-tensor、per-channel区别?

验证

PTQ、QAT、GPTQ、AWQ、GGUF理解

验证

量化什么时候考虑QAT?

验证

量化常见误区

验证

W8A16量化

模型变大后,推理最先遇到的是"权重太大、显存占用高、每一步都要从显存里读取很多数据。"

核心思想与概念

W8A16实现"压缩权重显存、缓解带宽压力"

绝对最大值量化公式,参见:课程链接

代码完善验证

相关推荐
一隅论数智5 天前
给AI一张“业务概念地图“:本体如何从哲学走向企业智能
大数据·人工智能·经验分享·笔记·学习·学习方法·政务
XiHongShi20165 天前
STM32F407 RTC定时器例程,建议保存
stm32·单片机·学习
爱吃苹果的日记本6 天前
离散数学第六课
学习·离散数学
AI职业加油站6 天前
AI智能体应用工程师证书:政策红利下的职业新风口
大数据·运维·人工智能·学习·职场发展
深圳老胡6 天前
STM32F407 控制 L6470 步进电机驱动 —— 控制过程简介
笔记·stm32·单片机·嵌入式硬件·代码规范
旖旎夜光6 天前
力控面试题 01.01: 判定字符是否唯一(位运算) —— 题解
c++·学习·算法·leetcode·力控
奇思妙想聪明勤奋的小羊6 天前
DeepAgents第5章:子Agent 与上下文隔离—让 Agent学会委派
人工智能·python·学习·语言模型
Because_of_Her16 天前
并查集-听课笔记
笔记·算法·并查集
霍霍的袁6 天前
【C++】map 和 set 的使用 | 从用法到底层
开发语言·c++·学习·visual studio