端侧神经网络量化(二):训练后量化(PTQ)

1. 什么是 PTQ

训练后量化(Post-Training Quantization,PTQ)是一种无需重新训练的量化方法:拿到一个已训练好的 FP32 模型,借助少量无标签校准数据,在几分钟内将其转换为 INT8 推理模型。

PTQ 的工作流:

复制代码
预训练 FP32 模型 → 插入量化观察器 → 校准数据集前向传播 → 统计每一层的值域 → 计算量化参数 → 转换为 INT8 推理图

PTQ 的核心假设是:校准数据的统计分布能代表真实推理时的数据分布。这也是 PTQ 精度能否达标的关键------校准数据的代表性决定了量化的天花板。


2. 权重量化校准

权重在推理时是静态的,因此可以在离线阶段精确量化。常见的校准方法有三种:

2.1 Min-Max 量化

最简单的方式:直接取权重的 min 和 max 作为量化范围。

复制代码
import torch
​
def minmax_quantize(weight, n_bits=8):
    qmin, qmax = -2**(n_bits-1), 2**(n_bits-1) - 1
    w_min, w_max = weight.min(), weight.max()
    scale = (w_max - w_min) / (qmax - qmin)
    zero_point = qmin - torch.round(w_min / scale)
    q_weight = torch.clamp(
        torch.round(weight / scale) + zero_point, qmin, qmax
    )
    return q_weight.type(torch.int8), scale, zero_point

Min-Max 的缺陷是极端值会撑大 scale,导致内部密集区域的量化精度不足。权重的长尾分布越严重,这个问题越突出。

2.2 MSE 校准

在 w_min, w_max 上搜索最优截断阈值,以最小化量化前后的均方误差。对所有权重值排序后,按百分位逐步收缩边界,选取 MSE 最小的点。

复制代码
def mse_calibrate(weight, n_bits=8):
    qmin, qmax = -2**(n_bits-1), 2**(n_bits-1) - 1
    best_mse, best_scale = float("inf"), None
    # 在 99.0% 到 99.999% 之间搜索最优截断边界
    for pct in [99.0, 99.5, 99.9, 99.99, 99.999]:
        v = torch.abs(weight).flatten().sort().values
        threshold = v[int(len(v) * pct / 100)]
        scale = threshold / qmax
        q = torch.clamp(torch.round(weight / scale), qmin, qmax)
        dq = q * scale
        mse = torch.mean((weight - dq) ** 2)
        if mse < best_mse:
            best_mse, best_scale = mse, scale
    return best_scale

MSE 校准在 ImageNet 分类模型上通常比 min-max 提升 0.5--1% Top-1 精度。

2.3 KL 散度校准

把原始分布和量化后分布看作两个概率分布,最小化它们之间的 KL 散度。将数据分箱(如 2048 bins),在直方图上搜索最优截断点,使截断后量化分布的 KL 散度最小。这是 NVIDIA TensorRT 默认的 INT8 校准算法。


3. 激活值校准

激活值随输入变化,无法像权重一样离线精确量化。PTQ 的做法是:跑一批校准数据,统计每层激活值的 min/max 或分布直方图,据此计算 scale 和 zero_point。

3.1 移动平均统计

逐 batch 更新 min 和 max 的滑动平均:

复制代码
class MovingAverageObserver:
    def __init__(self):
        self.min_val = float("inf")
        self.max_val = float("-inf")
​
    def update(self, x):
        self.min_val = min(self.min_val, x.min().item())
        self.max_val = max(self.max_val, x.max().item())

PyTorch 的 MovingAverageMinMaxObserver 在此基础上加入了动量衰减,使早期 batch 的极端值不会主导最终统计量。

3.2 百分位截断

不取激活值的绝对 min/max,而是按百分位截断------例如取 0.1%, 99.9% 区间内的值作为量化范围。这样可以剔除个别极端激活值对 scale 的破坏。

复制代码
def percentile_range(x, lower=0.1, upper=99.9):
    flat = x.flatten().sort().values
    low = flat[int(len(flat) * lower / 100)]
    high = flat[int(len(flat) * upper / 100)]
    return low, high

3.3 直方图观测器

PyTorch 的 HistogramObserver 将激活值分箱(如 2048 bins),在校准结束后按 KL 散度或 MSE 最小化选择截断点。这是精度最高的方式,但需要在校准期间存储直方图,内存开销略大。


4. 离群值问题

一个权重张量中 99.9% 的值落在 -0.5, 0.5,但个别值高达 ±5。若取全量 min/max:

  • scale = 5/127 ≈ 0.039

  • 量化精度(最小可区分差值)= 0.039

  • 原本 -0.5, 0.5 内只有约 26 个离散刻度可用

实际上内部 99.9% 的值被压缩到了极少的离散点上,信息几乎完全丢失。

解决方案:

  • 对权重使用 per-channel 量化,缩小每个 channel 内部的值域差异

  • 对激活值使用百分位截断,牺牲极端值保核心区域精度

  • 对于 LLM 中的异常输入通道(outlier features),混合精度保留 FP16


5. PyTorch FX PTQ 实战

复制代码
import torch
from torch.ao.quantization import get_default_qconfig_mapping
from torch.ao.quantization.quantize_fx import prepare_fx, convert_fx
​
# 1. 加载预训练模型
model = torch.hub.load("pytorch/vision", "resnet50", pretrained=True).eval()
​
# 2. 配置量化参数(per-channel 权重量化 + per-tensor 激活值量化)
qconfig_mapping = get_default_qconfig_mapping("x86")
​
# 3. 准备:在图中插入 FakeQuantize 观察器节点
example_input = torch.randn(1, 3, 224, 224)
model_prepared = prepare_fx(model, qconfig_mapping, example_input)
​
# 4. 校准:跑若干张校准图片
with torch.no_grad():
    for image, _ in calib_loader:
        model_prepared(image)
​
# 5. 转换:FakeQuantize 变为量化-反量化节点
model_quantized = convert_fx(model_prepared)

PTQ 全流程通常在 5--10 分钟内完成,校准数据 100--500 张即可。


6. PTQ 的适用边界

PTQ 适合的场景:

  • 卷积网络(ResNet、MobileNet、EfficientNet):INT8 精度损失通常 < 1%

  • 校准数据容易获取(从训练集或生产日志采样即可)

  • 部署周期紧张,无法承担重新训练成本

PTQ 不适合的场景:

  • 极低位宽(≤ 4-bit):误差累积太大,必须 QAT

  • 模型层数极深或结构特殊(如某些 NLP 模型):误差在深层放大严重

  • 校准数据与真实推理数据分布差异大:统计估计失效

7. 小结

PTQ 是量化工程化的第一选择------成本低、速度快、在大多数视觉模型上精度可接受。当 PTQ 精度不达标时,下一步是引入训练信号来补偿量化误差,即下一篇要讨论的量化感知训练(QAT)。

相关推荐
GitCode官方15 分钟前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI1 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP1 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷1 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考1 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI1 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具
程序员韩星2 小时前
OpenAI 兼容接口返回 404,先查请求地址,再查模型名
前端·人工智能·http
Cosolar2 小时前
2026 年 Java AI Agent 生态全景盘点:50+ Java 开源项目的分类、实测与选型判断
人工智能·架构·agent
花椒技术2 小时前
从“实时生成游戏”出发,我们用 AI 做了四次游戏开发尝试
人工智能·aigc·游戏开发
天空'之城2 小时前
016基于边缘计算的智能家居异常行为检测系统
毕业设计·智能家居·边缘计算·异常检测·esp 32