rknn 量化原理

在 RKNN (Rockchip Neural Network Toolkit) 中,传入校准数据集进行量化的过程是基于 Post-Training Quantization (PTQ) 的原理,特别是对于 8-bit 量化(INT8)模型,这是一个常见的过程。以下是其基本原理和流程:

  1. 校准数据集的作用

校准数据集是用于确定模型中每一层权重和激活值的动态范围的。量化将浮点数值(通常是 FP32)映射到整数值(如 INT8)。这种映射需要知道数值范围,从而计算缩放因子(scale)和零点(zero point)。

• 激活量化:

需要了解每一层输出的最小值和最大值,以便将浮点范围映射到 INT8 范围(通常是 -128 到 127)。

• 权重量化:

类似地,权重的动态范围也需要确定,以便正确映射到 INT8。

校准数据集通过多次推理,统计这些范围信息,从而为后续量化提供准确的参考。

  1. 量化的基本公式
    \text{int8_value} = \text{round}\left(\frac{\text{float_value} - \text{zero_point}}{\text{scale}}\right)

量化映射关系可表示为:

• Scale: 用于表示浮点数到整数的缩放因子。

• Zero Point: 用于调整量化范围与浮点范围的对齐。

通过校准数据集,可以统计每一层的输出范围(min 和 max),然后计算缩放因子和零点:

\text{scale} = \frac{\text{max_float} - \text{min_float}}{255} \quad \text{(对称量化)}

或者:

\text{scale} = \frac{\text{max_float} - \text{min_float}}{256}, \quad \text{zero_point} = -\frac{\text{min_float}}{\text{scale}}

  1. 校准的过程

校准过程分以下几步:

(1) 数据准备

传入校准数据集,这些数据应该能覆盖模型运行时的典型输入分布,通常是训练数据的一个子集或相似分布的数据。

(2) 模型推理

使用校准数据集对模型进行推理,统计每一层激活值和权重的分布情况。

(3) 统计范围

根据推理过程中收集的激活值分布,找到每一层输出的动态范围(min 和 max)。这通常使用以下方法:

• Min-Max 统计: 直接记录每一层激活的最小值和最大值。

• KL 散度: 比较量化分布和浮点分布的差异,选择一个最佳范围。

(4) 计算缩放参数

根据统计的动态范围计算 scale 和 zero point,用于后续量化。

(5) 替换浮点运算

将模型中的浮点计算替换为整数计算(例如使用 INT8 加法和乘法),并用校准得到的量化参数调整权重和激活。

  1. 校准数据的重要性

校准数据集的质量直接影响量化模型的准确性。原因是:

• 不同分布的校准数据可能导致量化参数与实际推理数据分布不匹配。

• 数据覆盖度不足(如仅覆盖某些输入模式)可能导致模型某些部分的动态范围被低估。

因此,选择校准数据时需尽可能贴近实际推理场景。

  1. RKNN 的优化

RKNN 在量化过程中可能采用了一些优化技术:

• 混合量化:如果某些层量化损失较大,可能保留这些层为 FP32 或使用 FP16。

• 改进的动态范围估计:比如使用 KL 散度方法或其他启发式统计技术来更好地捕捉分布。

总结

RKNN 的量化通过校准数据集来统计动态范围,计算量化参数(scale 和 zero point),并将模型权重和激活映射到整数值,从而减少推理时的计算复杂度和存储需求。这种方法依赖校准数据集的代表性和框架的量化策略优化。

相关推荐
IT_Octopus2 分钟前
AI工程pytorch小白TorchServe部署模型服务
人工智能·pytorch·python
果冻人工智能7 分钟前
AI军备竞赛:我们是不是正在造一个无法控制的神?
人工智能
暴龙胡乱写博客12 分钟前
OpenCV---图像预处理(四)
人工智能·opencv·计算机视觉
程序员辣条20 分钟前
深度测评 RAG 应用评估框架:指标最全面的 RAGas
人工智能·程序员
curdcv_po21 分钟前
字节跳动Trae:一款革命性的免费AI编程工具完全评测
人工智能·trae
程序员辣条21 分钟前
为什么需要提示词工程?什么是提示词工程(prompt engineering)?为什么需要提示词工程?收藏我这一篇就够了!
人工智能·程序员·产品经理
孔令飞25 分钟前
Go:终于有了处理未定义字段的实用方案
人工智能·云原生·go
清流君39 分钟前
【MySQL】数据库 Navicat 可视化工具与 MySQL 命令行基本操作
数据库·人工智能·笔记·mysql·ue5·数字孪生
Blossom.1181 小时前
人工智能在智能家居中的应用与发展
人工智能·深度学习·机器学习·智能家居·vr·虚拟现实·多模态融合
biter00881 小时前
ubuntu(28):ubuntu系统多版本conda和多版本cuda共存
linux·人工智能·ubuntu·conda