把模型从 FP32 压到 INT8:PTQ、QAT 与 PyTorch 量化全链路

把一个在服务器上训好的模型,真正部署到边缘盒子、手机、NPU 上,你会发现一个尴尬的事实:训练时 300 MB 的权重,在显存里跑得好好的,一搬上车载盒子、工业相机、机器人,Flash装不下、内存带宽喂不饱、GPU/NPU上INT8 算力是FP32 的好几倍却用不上。

解决这个问题的标准动作,就是量化------把 FP32 浮点权重和激活,映射成 INT8 整数。模型体积直接砍到四分之一,内存带宽省 2--4 倍,在支持 INT8 张量核的硬件上推理还能再快 2--4 倍。

但量化不是一个"点一下按钮就完事"的工具。它背后是一套从数学映射、校准策略、训练方式到部署对齐的完整链路:PTQ 掉点怎么办、什么时候必须上 QAT、PyTorch 里 prepare/convert 到底在干什么、为什么转出来的 ONNX 在 TensorRT 里还要重新校准。

一、量化到底在做什么

用最朴素的方式理解:FP32 能表示从 -3.4e38 到 3.4e38 的所有数,精度到小数点后 7 位。但一个卷积层的权重,实际数值范围可能就在 -0.5, 0.8 之间,而且大量值集中在 0 附近。你根本用不到那么大的动态范围,也用不到那么高的精度。

量化就是在这个有限区间里"铺格子":把 -0.5, 0.8 这个浮点区间,均匀映射到 -128, 127 这 256 个整数上。每个整数代表一个固定大小的浮点间隔(scale),再加上一个零点偏移(zero_point)处理区间不对称的情况。

线性量化:浮点区间与整数区间通过 scale 和 zero_point 一一对应

两个公式:

|-------------------------------------------------------------------------------------------------------------------------|
| text量化与反量化量化:x_int = clamp( round(x_float / scale) + zero_point, qmin, qmax )反量化:x_float = (x_int - zero_point) × scale |

举个具体例子:某层权重范围是 -0.25, 0.25,用对称 INT8(qmin=-128, qmax=127, zero_point=0),scale = 0.25/127 ≈ 0.00197。那么权重 0.1 变成整数 round(0.1/0.00197) ≈ 51,推理时再用 (51 - 0) × 0.00197 还原成0.1005。误差大约是scale/2 ≈ 0.001,对大多数卷积层来说完全可以接受。

|------------------------------------------------------------------------------------------------------------------------------------------------|
| 这里有个最容易混淆的点:存储量化和计算量化是两回事。只把权重离线压成 INT8 存 Flash,加载时再反量化回 FP32 参与计算------这只省了存储,没加速。真正吃到硬件 INT8 吞吐,要求中间激活也走 INT8,卷积/矩阵乘在整数域完成,只有网络边界才做浮点转换。 |

二、为什么量化能省、能快:瓶颈在哪决定收益大小

量化的收益不是均匀的,它取决于你的模型瓶颈在哪里。

|---------------------|--------------------------|----------------------------------|
| 模型瓶颈 | 典型场景 | 量化收益 |
| 带宽受限(memory-bound) | 大矩阵乘、大卷积、Transformer 注意力 | 权重量化即可大幅提速,因为主要时间在把权重从内存搬到计算单元 |
| 算力受限(compute-bound) | 小算子堆叠、大 batch、小通道卷积 | 必须激活也走 INT8,配合算子融合,才能拉满 INT8 张量核 |
| 边缘 NPU / 手机 DSP | INT8 硬件成熟,FP32 支持弱 | 量化几乎是必选项,否则模型跑不动 |
| 服务器 GPU | FP16/BF16 算力充足 | INT8 收益要看具体架构和推理框架,有时 FP16 更省事 |

一个常见误区:以为量化就是"模型变小"。实际上在 GPU 上,权重已经在显存里,体积缩小带来的收益有限;真正值钱的是 INT8 张量核的吞吐和带宽下降。在边缘盒子上,Flash 占用、内存占用、功耗、发热才是硬约束,这时候量化的四重收益(体积、带宽、算力、功耗)才同时成立。

三、线性量化的四种选型:对称 / 非对称 × Per-Tensor/Per-Channel

工业界 INT8 几乎全部用线性量化(均匀铺格子)。非线性量化(对数映射、聚类码本)只在 4bit 或研究场景出现,推理框架支持也不统一。线性量化内部还有四个组合,选型直接影响精度。

3.1 对称 vs 非对称

|-------|-----------------------------------------|------------|-----------------------------------------|
| 类型 | 映射区间 | zero_point | 特点 |
| 对称量化 | -\|max\|, \|max\| 映射到 -128, 127 | 固定为 0 | 整数乘加时省掉零点修正项,硬件路径简单;激活即使全是非负(ReLU 后)也常用 |
| 非对称量化 | min, max 映射到 0, 255 | 动态计算 | 区间利用更充分,分布明显偏置时能多利用几个量化台阶,精度略好;多一步零点修正 |

ReLU 之后的激活天然非负,理论上非对称 UINT8 能更贴合分布。但实际工程里对称 INT8 仍然是主流,原因有两个:一是硬件 INT8 kernel 路径统一,零点修正会拖慢计算;二是偏差不大时,对称量化损失的精度在可接受范围。

3.2 Per-Tensor vs Per-Channel

这是比对称/非对称更影响精度的一个选择。

|-------------|--------------------------|-------------------------------|-------------------------|
| 粒度 | 做法 | 优点 | 缺点 |
| Per-Tensor | 整张量共用一组 scale/zero_point | 参数少,实现简单 | 通道间数值范围差异大时,小通道被大通道"挤扁" |
| Per-Channel | 卷积/线性层每个输出通道独立一组参数 | 各滤波器动态范围分开刻画,通常少掉 0.5--2 个点精度 | 参数多一些,但只作用于权重 |

|-----------------------------------------------------------------------------------------------------------------------|
| 工程默认值:权重量化用****Per-Channel ,激活量化用 Per-Tensor 。权重每个输出通道分布差异大,必须分开;激活在推理时按通道切分代价高,而且通常分布相对集中,Per-Tensor 够用。 |

四、整数域到底怎么算: Q/DQ 、 requantization 与算子融合

很多人看完公式会问:量化之后,卷积不还是要乘回 scale 吗?那和直接算 FP32 有什么区别?

关键在于:不要每个算子前后都做浮点转换,而是把连续层的 scale 折叠进去,尽量在整数域里一路算到底,层末再做一次 rescale。

以量化卷积为例,理想计算过程是:

|----------------------------------------------------------------------------------------------------------------------------------|
| text整数域卷积y_int = (x_int - zp_x) * (w_int - zp_w) # 整数乘加,累加到 int32 y_float = y_int * (scale_x * scale_w) # 层末一次 requantization |

工程实现里,相邻 Conv+BN+ReLU 的 scale 会被折叠进卷积核或 bias,中间不再插入 Dequantize/Quantize。这就是 PTQ 图优化里反复在做的事:

•Q/DQ 消除:相邻两个量化节点之间没有算子,合并掉;

•Conv+BN+ReLU 融合:BN的scale/bias 折叠进卷积核,ReLU变成截断;

•多余浮点转换消除:每一对多余的 Q/DQ 往返都会吃掉带宽和延迟。

图里 Q/DQ 节点越多,性能越差。这也是为什么 TensorRT、QNN、NPU 编译器追求"纯 INT8 推理"------整条主路径没有类型转换,编译器才能把算子融合到极致。PyTorch Eager 模式 convert 之后常常残留几个 FP32 算子,就是因为有些自定义算子没有 INT8 kernel,只能在前后用 Q/DQ 衔接。

五、量化误差从哪来:为什么校准策略比公式更重要

单次舍入误差上界是 scale/2。对整张量而言,均方误差和 scale 成正比------动态范围估得越宽,scale 越大,有效位数越少。

举个例子:某层激活的真实分布是 -1, 1,但校准集里有一两个离群样本达到 20。如果你用裸 MinMax 估 r_max = 20,scale 就会变成 20/127 ≈ 0.157,意味着 -1, 1 这个正常区间只分到了 ±6 个整数格子,分辨率瞬间崩掉。

这就是为什么 PTQ 里校准策略比"量化公式本身"更关键:

|-------------|------------------------------------------|--------------------------------------|
| 校准策略 | 做法 | 特点 |
| MinMax | 直接取观测到的全局最小/最大值 | 实现最简单,单个离群样本就能把 scale 拉大 |
| 滑动平均 MinMax | 每个 batch 观测 min/max,与历史做指数滑动平均 | QAT 训练常用,避免单步抖动;PTQ 单次校准则与 MinMax 接近 |
| 直方图 + KL 散度 | 搜索截断阈值 T,使截断前后分布的 KL 散度最小(TensorRT 默认思路) | 对长尾分布比裸 MinMax 稳 |
| 分位数截断 | 取 99.9% 或 99.99% 分位作为 r_max,忽略最极端的 0.1% | 工业界非常常用,实现简单且效果稳 |

|------------------------------------------------------------------------------|
| 校准集不需要很大,几百到一两千条通常够用。关键是分布要对:类别、分辨率、归一化方式、文本长度必须和线上一致。校准集偏了,后面 QAT 也很难救。 |

六、 PTQ :训练后量化,把浮点模型直接转成定点

训练后量化(Post-Training Quantization, PTQ)的思路非常直接:FP32 模型已经训好了,我不重新训练,只在校准集上跑几遍前向,统计各层激活分布,算出scale/zero_point,然后把权重物理转成INT8。整个过程没有反向传播,耗时主要在推理校准数据。

PTQ 与 QAT 两条路径:上方是校准前向,下方是带伪量化噪声的训练

6.1 动态量化 vs 静态量化

|----------|------------------------------|-----------------|
| 维度 | 动态量化 | 静态量化 |
| 权重 | 预先量化为 INT8 | 预先量化为 INT8 |
| 激活 scale | 每次推理时根据当前 batch 实时统计 min/max | 校准阶段一次算好,推理时固定 |
| 推理开销 | 多一轮 reduce(求 min/max) | 无额外统计开销 |
| 融合能力 | 难与静态图编译、算子融合深度结合 | 适合静态图,算子融合充分 |
| 典型适用 | Linear、RNN、Transformer 注意力 | CNN、检测模型、延迟敏感场景 |

PyTorch 动态量化的官方示例集中在 RNN 和 Transformer,不是因为别的层不能量化,而是这些模型瓶颈在巨大的权重矩阵乘,只量化权重已经能解决大部分带宽问题。CNN激活张量大、对延迟敏感,必须走静态量化。

6.2 推理形态:混合精度 vs 纯 INT8

从部署形态看,PTQ 落地有两种:

•FP32/INT8 混合精度:模型输入输出仍是FP32,权重INT8,不支持INT8 kernel 的算子前后用Q/DQ 衔接。这是目前最常见的落地形态,不要求全网算子都量化,但图里Q/DQ 越多性能越差。

•纯 INT8 推理:整条主路径整数运算,所有算子都有 INT8 kernel,编译器把相邻层 rescale 合并掉。TensorRT、QNN、部分 NPU 编译器追求这种形态;算子不支持时回退到混合精度。

七、 QAT :当 PTQ 掉点救不回来时

PTQ 是把"按 FP32 最优解训出来的权重"硬塞进 INT8 格点。如果掉点严重(比如检测 mAP 掉 2 个点以上),光靠调校准策略救不回来,就得上量化感知训练(Quantization-Aware Training, QAT)。

QAT 的思路:在训练阶段就让前向经过"量化 → 反量化"的噪声通道,让权重在训练时就暴露于 INT8 误差,慢慢收敛到 INT8 可表示的解。反向传播仍然更新 FP32 主权重,只是前向数值被"钉"在 INT8 格点上。

7.1 FakeQuantize :训练时的伪量化层

QAT 不真正把权重变成 int8,而是插入一个 FakeQuantize 模块:前向时对 FP32 权重和激活执行x̂ = Dequant(Quant(x)),用 x̂ 参与卷积。x̂ 数据类型仍是 FP32,但数值已经被量化过,前向行为与真正的 INT8 推理一致。

FakeQuantize 里还有个 Observer:训练模式下持续滑动平均更新 scale/zero_point;进入 eval 模式再 convert 时,这些参数被固化进真正的量化算子。

7.2 STE :绕开 round 不可导的问题

round 函数在除整数点外的梯度是 0,伪量化层直接反向传播会断。QAT 用直通估计器(Straight-Through Estimator, STE)解决:

|-------------------------------------------------------------------------------------|
| text STE 前向与反向前向:x_q = Q(x) # 真实的 round反向:∂L/∂x ≈ ∂L/∂x_q # 把梯度原样传过去,假装 round 是恒等映射 |

STE 没有严格的理论最优性,但在 ImageNet 分类、检测等任务上足够用。如果微调时 loss 震荡,优先检查学习率是否过大(通常取预训练学习率的 1/10 到 1/100),以及 FakeQuantize 的 observer_enabled 切换时机是否正确。

7.3 QAT 的成本

QAT 一般不需要从头训:拿 PTQ 掉点明显的预训练模型,插入 FakeQuantize,用原训练集的 1/10 到全量数据、1--10 个 epoch、更小的学习率微调即可。但成本仍然不低------需要标注数据、训练机时、调参经验。所以 QAT 不是默认第一步,而是 PTQ 救不回来时的兜底。

|----------------------------------------------------------------------------------------------------------|
| PTQ 与 QAT 的选择没有固定阈值,按约束递进:交付紧、掉点可接受 → 先做静态 PTQ 调校准;掉点集中在少数层 → 换 Per-Channel、分位数校准或局部 FP16;仍不达标 → 才上 QAT。 |

八、 PyTorch 量化代码落地

下面的 API 在torch.ao.quantization(1.13+)里,旧版torch.quantization也能用。以新路径为准。

8.1 后端: fbgemm 与 qnnpack

|---------|----------------------------|--------------|
| 后端 | 面向平台 | 说明 |
| fbgemm | x86(AVX2/AVX512 INT8 GEMM) | 服务器 CPU 默认后端 |
| qnnpack | ARM / 移动端 | 手机、边缘盒子默认后端 |

关键提醒:x86 上用 fbgemm 转出来的模型,到 ARM 上通常要重新 prepare / calibrate / convert,不能直接把序列化权重搬过去。

8.2 静态 PTQ 三行核心代码

|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| python静态 PTQimport torch from torch.ao.quantization import get_default_qconfig, prepare, convert model.eval() model.qconfig = get_default_qconfig("fbgemm") # prepare:子模块替换为 QuantStub/DeQuantStub + 带 Observer 的浮点算子 model_prepared = prepare(model, inplace=False) # 用校准集跑前向,Observer 记录激活分布 with torch.no_grad(): for images, _ in calib_loader: model_prepared(images) # convert:浮点 Conv2d → QuantizedConv2d,权重物理转 int8 model_int8 = convert(model_prepared, inplace=False) |

注意两个容易踩的点:prepare不会立刻量化权重,只是把 Observer 挂上去;校准跑完后 Observer 里才有有效的 scale。模型如果没有显式的QuantStub/DeQuantStub,需要在 forward 入口和出口手动插入,否则 prepare 不知道从哪里开始统计激活。convert 之后模型必须保持eval(),训练模式对量化算子无意义。

8.3 动态量化一行搞定

|----------------------------------------------------------------------------------------------------------------------------------------------------------|
| python动态量化from torch.ao.quantization import quantize_dynamic model_int8 = quantize_dynamic( model, {torch.nn.Linear, torch.nn.LSTM}, dtype=torch.qint8 ) |

动态量化只把指定模块的权重转 INT8,前向时 Linear 内部对输入做动态量化。Conv2d 默认不在动态量化支持列表里,CNN 必须走静态 PTQ。

8.4 QAT 完整流程

|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| python QATfrom torch.ao.quantization import ( get_default_qat_qconfig, prepare_qat, convert ) model.train() model.qconfig = get_default_qat_qconfig("fbgemm") model_qat = prepare_qat(model) for epoch in range(finetune_epochs): train_one_epoch(model_qat, train_loader, optimizer) model_qat.eval() model_int8 = convert(model_qat) |

QAT 的关键类结构:

|--------------|------------------------------------------------------------------------------------|
| 类 | 职责 |
| QConfig | 绑定激活与权重各自的 FakeQuantize 工厂 |
| FakeQuantize | 训练时 forward 调 Observer 更新统计量,再执行 quantize_dequantize;convert 后逻辑并入 QuantizedConv2d |
| Observer | 封装"如何从张量得到 scale/zero_point",可自定义接入自研校准算法 |

默认 QAT 配置里,激活用 MovingAverageMinMaxObserver(Per-Tensor 滑动平均),权重用MovingAveragePerChannelMinMaxObserver(Per-Channel 滑动平均)。

九、导出与部署:为什么转出来的 ONNX 还要再校准

PyTorch convert 得到的是带 QuantizedConv2d 的 Eager 模型,适合 TorchScript(torch.jit.script)在 LibTorch 里跑。如果走 ONNX,要注意:

•确认目标 Runtime 对 QuantizeLinear/DequantizeLinear 及 INT8 算子的支持版本;

•TensorRT 这类引擎更愿意拿 FP32 ONNX 做自己的 PTQ 校准,而不是吃 PyTorch 转出来的 Q/DQ 图------因为 scale 由谁算、算子能否融合的边界不同;

•常见对齐方式:同一批输入,对比 FP32、PyTorch INT8、引擎 INT8 各层 max diff;diff 突然变大的层,优先查 Q/DQ 插入位置、Per-Channel 是否生效、校准数据是否一致。

量化方案决策路径:从 PTQ 到局部混合精度再到 QAT

把整个选型路径浓缩成一张决策表:

|---------------------|------------------------------|----------------------------------------|
| 场景 | 首选方案 | 原因 |
| LSTM / RNN | 动态量化 | 性能受限于权重计算/内存带宽 |
| BERT / Transformer | 动态量化 | 性能受限于权重计算/内存带宽 |
| CNN 检测/分类 | 静态量化(Per-Channel 权重 + 分位数校准) | 性能受限于激活带宽,延迟敏感 |
| 静态 PTQ 掉点超过 1--2 个点 | 局部 FP16 + 分位数校准 | 先救敏感层,不必整体 QAT |
| 仍不达标 | QAT 微调 | 用 1/10 数据、1--10 epoch、小学习率 recovery 精度 |

十、 总结

量化这件事,表面上是"把 FP32 压成 INT8",实际上是在四件事上做取舍:位宽、映射函数、量化参数估计、是否回训。

位宽决定存储和计算的理论收益;映射函数(对称/非对称、Per-Tensor/Per-Channel)决定精度损失的大小;参数估计(校准策略)决定PTQ 的精度上限;是否回训(PTQ vs QAT)决定最终能不能救回精度。

工程上的默认起点非常清晰:权重量化 Per-Channel ,激活用代表性数据静态校准,校准策略优先分位数截断或 KL 散度,先跑静态 PTQ 看掉点;掉点集中在少数层就局部 FP16 ;整体掉点救不回来再上 QAT。不要一上来就 QAT,也不要把 MinMax 校准当银弹。

真正在于校准数据是否贴合线上分布、敏感层(检测头、小通道卷积、attention softmax 前后)有没有被识别出来、导出到目标引擎后有没有做数值对齐测试。

相关推荐
AI源码9 分钟前
基于机器学习的优衣库销售预测与决策系统
人工智能·机器学习
可夫小子26 分钟前
13 条数据跑出 65.87 分:这场 48 小时真机挑战赛,拆穿了具身智能的落地真相
人工智能
大模型真好玩1 小时前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi1 小时前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
真上帝的左手1 小时前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
墨林陌2 小时前
AI 热点日报(2026-11-18):OpenAI 发布 GPT-6.2,APEC 峰会聚焦 AI,AI 制药融资创新高
人工智能
byte轻骑兵2 小时前
【ATT】规范精讲[8]:配置要确认、灌包要速度、多字段要原子——BLE 写入的四重选择
人工智能·aiot·l2cap·嵌入式蓝牙·蓝牙链路管理
AAA修煤气灶刘哥2 小时前
Agent 都能干活了,软件还需要那么多按钮吗?
人工智能·后端·架构
Purple Coder3 小时前
开题报告学习
人工智能