基于RKNN的嵌入式深度学习开发（2）

上一个章节我们介绍的RKNN模型的模型转换和模型的推理，这一章节我们将介绍模型的量化和评估部分。

2.3 RKNN模型的量化

量化就是将浮点转换为定点运算的过程，或者训练后由rknn来量化。量化模型使用较低精度（如int8/uint8/int16）保存模型的权重信息，在部署时可以使用更少的存储空间，获得更快的推理速度。但各深度学习框架训练、保存模型时，通常使用浮点数据，所以模型量化是模型转换过程中非常重要的一环。RKNN Toolkit目前对量化模型的支持主要有以下两种形式：

RKNN Toolkit根据用户提供的量化数据集，对加载的浮点模型进行量化，生成量化的RKNN 模型。
- 支持的量化精度类型：int16，int8，uint8
- 量化方式：训练后静态量化
- 支持的量化粒度：per-tensor（或 per-layer），不支持 per-channel 量化
由深度学习框架导出量化模型，RKNN Toolkit加载并利用已有的量化信息,生成量化 RKNN 模型。
- 支持的深度学习框架：PyToch(v1.9.0)、ONNX(Onnxruntime v1.5.1)、Tensorflow、TFLite
- 支持的量化精度类型：int8, uint8
- 量化方式：训练后静态量化, 量化感知训练(QAT)

以下代码为量化的示例代码：

python 复制代码

# 导入RKNN库  
from rknn.api import RKNN  

# 创建RKNN对象  
rknn = RKNN()  

# 加载已训练的模型，例如TensorFlow或PyTorch模型  
# 这里以TensorFlow Frozen Graph为例  
model_path = 'your_model.pb'  
rknn.load_tensorflow(model=model_path, 
                     inputs=['input_tensor'], 
                     outputs=['output_tensor'])  

# 配置量化  
rknn.config(quantized_enable=True, quantized_dtype='int8')  

# 编译模型  
print("编译模型...")  
rknn.compile()  

# 进行量化  
print("量化模型...")  
rknn.quantize()  

# 导出量化后的模型  
output_model_path = 'quantized_model.rknn'  
rknn.export(output_model_path)  

print("量化完成，模型已保存到：", output_model_path)  

# 释放RKNN对象  
rknn.release()

2.4 RKNN模型的评估

通过模型转换得到 RKNN 模型后，可以使用RKNN Toolkit在Rockchip NPU开发板上对模型的准确性、性能、内存使用情况进行评估。评估的流程如下所示：

模型评估主要分三部分进行：准确性评估、性能评估和内存评估。

准确性评估：评估 RKNN 模型推理结果的准确性。
性能评估：评估 RKNN 模型在指定开发板上推理时的耗时。
内存评估：评估 RKNN 模型推理时在 Rockchip NPU 上的内存使用情况。

2.5 RKNN模型的加密

为了避免模型的结构、权重等信息泄漏，RKNN Toolkit提供模型加密功能。 RKNN Toolkit 提供 3 个加密等级，等级越高，安全性越高，解密越耗时；反之，安全性越低，解密越快。

加密模型的部署流程和普通一样，不需要解密等额外操作。