【llm-algo-leetcode学习笔记】量化优化手段

量化理论与INT4/INT8

量化难点:理解低比特为什么会同时影响存储成本、带宽压力、算子吞吐和精度稳定性。

为什么量化能显著减少显存和带宽压力?

验证

对称量化、非对称量化、per-tensor、per-channel区别?

验证

PTQ、QAT、GPTQ、AWQ、GGUF理解

验证

量化什么时候考虑QAT?

验证

量化常见误区

验证

W8A16量化

模型变大后,推理最先遇到的是"权重太大、显存占用高、每一步都要从显存里读取很多数据。"

核心思想与概念

W8A16实现"压缩权重显存、缓解带宽压力"

绝对最大值量化公式,参见:课程链接

代码完善验证

相关推荐
于眠牧北17 分钟前
雷电模拟器9/14搭配charles抓取自带浏览器接口9/14
经验分享·笔记·git
Answer1st8 小时前
【嵌入式模块】UART通信模块
笔记
和侧8 小时前
离子注入后为什么必须配套退火工艺?
笔记·学习
凛铄linshuo9 小时前
自动化测试:pytest第一个实例学习
学习·pytest
我命由我1234510 小时前
智能助手通用问答边界
人工智能·python·学习·ai·学习方法·ai编程·智能体
鬼手点金11 小时前
Agent 的学习机制:后训练、上下文学习与外部化学习
java·人工智能·git·学习·自动化·nanogpt
几个几个n11 小时前
LaTeX 入门学习
学习
TheBlackHoleLab12 小时前
【Vulnhub系列】DarkHole1: 渗透测试笔记,没有踩渗透的坑,却踩到了虚拟机平台的坑,人生处处是大坑
笔记·vulnhub·easy·darkhole1
想七想八不如1140813 小时前
元学习简单入门
人工智能·pytorch·python·深度学习·学习·机器学习
ACP广源盛1392462567313 小时前
硬件选型笔记:GSV2231@ACP,DP1.4 MST 一进三出多屏扩展方案评估
笔记·硬件架构·视频·mst·国产芯片