基于RKNN的嵌入式深度学习开发(2)

上一个章节我们介绍的RKNN模型的模型转换和模型的推理,这一章节我们将介绍模型的量化和评估部分。

2.3 RKNN模型的量化

量化就是将浮点 转换为定点 运算的过程,或者训练后由rknn来量化。量化模型使用较低精度(如int8/uint8/int16)保存模型的权重信息,在部署时可以使用更少的存储空间,获得更快的推理速度。但各深度学习框架训练、保存模型时,通常使用浮点数据,所以模型量化是模型转换过程中非常重要的一环。RKNN Toolkit目前对量化模型的支持主要有以下两种形式

  • RKNN Toolkit根据用户提供的量化数据集,对加载的浮点模型进行量化,生成量化的RKNN 模型。
    • 支持的量化精度类型:int16,int8,uint8
    • 量化方式:训练后静态量化
    • 支持的量化粒度:per-tensor(或 per-layer),不支持 per-channel 量化
  • 由深度学习框架导出量化模型,RKNN Toolkit加载并利用已有的量化信息,生成量化 RKNN 模型。
    • 支持的深度学习框架:PyToch(v1.9.0)、ONNX(Onnxruntime v1.5.1)、Tensorflow、TFLite
    • 支持的量化精度类型:int8, uint8
    • 量化方式:训练后静态量化, 量化感知训练(QAT)

以下代码为量化的示例代码:

python 复制代码
# 导入RKNN库  
from rknn.api import RKNN  

# 创建RKNN对象  
rknn = RKNN()  

# 加载已训练的模型,例如TensorFlow或PyTorch模型  
# 这里以TensorFlow Frozen Graph为例  
model_path = 'your_model.pb'  
rknn.load_tensorflow(model=model_path, 
                     inputs=['input_tensor'], 
                     outputs=['output_tensor'])  

# 配置量化  
rknn.config(quantized_enable=True, quantized_dtype='int8')  

# 编译模型  
print("编译模型...")  
rknn.compile()  

# 进行量化  
print("量化模型...")  
rknn.quantize()  

# 导出量化后的模型  
output_model_path = 'quantized_model.rknn'  
rknn.export(output_model_path)  

print("量化完成,模型已保存到:", output_model_path)  

# 释放RKNN对象  
rknn.release()

2.4 RKNN模型的评估

通过模型转换得到 RKNN 模型后,可以使用RKNN Toolkit在Rockchip NPU开发板上对模型的准确性、性能、内存使用情况进行评估。评估的流程如下所示:

模型评估主要分三部分进行:准确性评估、性能评估和内存评估。

  1. 准确性评估:评估 RKNN 模型推理结果的准确性。
  2. 性能评估:评估 RKNN 模型在指定开发板上推理时的耗时。
  3. 内存评估:评估 RKNN 模型推理时在 Rockchip NPU 上的内存使用情况。

2.5 RKNN模型的加密

为了避免模型的结构、权重等信息泄漏,RKNN Toolkit提供模型加密功能。 RKNN Toolkit 提供 3 个加密等级,等级越高,安全性越高,解密越耗时;反之,安全性越低,解密越快。

加密模型的部署流程和普通一样,不需要解密等额外操作。

相关推荐
拓端研究室40 分钟前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI1 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
昨日之日20061 小时前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频
SHIPKING3932 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水6 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室7 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿7 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫7 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
伍哥的传说7 小时前
React 各颜色转换方法、颜色值换算工具HEX、RGB/RGBA、HSL/HSLA、HSV、CMYK
深度学习·神经网络·react.js
大千AI助手7 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配