【llm-algo-leetcode学习笔记】量化优化手段

量化理论与INT4/INT8

量化难点:理解低比特为什么会同时影响存储成本、带宽压力、算子吞吐和精度稳定性。

为什么量化能显著减少显存和带宽压力?

验证

对称量化、非对称量化、per-tensor、per-channel区别?

验证

PTQ、QAT、GPTQ、AWQ、GGUF理解

验证

量化什么时候考虑QAT?

验证

量化常见误区

验证

W8A16量化

模型变大后,推理最先遇到的是"权重太大、显存占用高、每一步都要从显存里读取很多数据。"

核心思想与概念

W8A16实现"压缩权重显存、缓解带宽压力"

绝对最大值量化公式,参见:课程链接

代码完善验证

相关推荐
HugoStudio_SWAN1 小时前
洛谷 P10719 \[GESP202406 五级] 黑白格——暴力美学与图像处理的最小外接矩形
c++·图像处理·人工智能·学习·程序人生·算法·目标跟踪
那年窗外下的雪.1 小时前
AIDC 学习日志|第 20 天|多归属业务验收与哈希不均定位
学习·算法·哈希算法
xian_wwq1 小时前
【学习笔记】深度认知系列- 第15讲 AI算力战争——GPU、光通信与太空数据中心
笔记·学习
雨田言炎2 小时前
2026/9/5 C复习笔记(一)
c语言·笔记
zhangrelay2 小时前
答疑-是否软件源问题都必须更换为国内呢-
linux·笔记·学习·ubuntu·ros2
zhangrelay2 小时前
《ROS 机器人程序设计》课程教学大纲-2026- kinetic-lyrical
linux·笔记·学习·ubuntu·机器人
具身AGI2 小时前
物理AI人类学习路线的答案
人工智能·学习
路弥行至3 小时前
Linux (ARM64 / Jetson) 挂载 exFAT 移动硬盘排障与离线安装指南
linux·运维·服务器·经验分享·笔记·jetson·exfat
那年窗外下的雪.3 小时前
AIDC 学习日志|第 21 天|EVPN 多归属故障演练与中断窗口定位
网络·git·学习