RK3568 NPU RKNN(一):概念理清

文章目录

1、前言

本文出现的图片均可能来自讯为视频教程的配套讲义:

链接:https://pan.baidu.com/s/1h3W0cDYDH4E2Vu_HG_qSFg 提取码:ompw

2、RKNPU

到目前为止,RKNPU已经经过了几代的发展,趋近成熟。RK3399pro和RK1808初次引入RKNPU,相比传统的 CPU和GPU,在深度学习运算能力上有比较大幅度的提升。接下来在RV1109和RV1126上使用了第二代NPU,提升了NPU的利用率。第三代NPU应用在RK3566和RK3568上,搭载全新NPU自研架构,而RK3588搭载的为第四代NPU,提高了带宽利用率,支持了多核扩展。RKNPU具体发展过程如下图所示:

RKNPU1.0和RKNPU2.0被划分为了RKNPU,而RKNPU3.0、RKNPU4.0和RKNPU5.0被划分为了RKNPU2。

3、RK3568 NUP能力

RK3568 NPU只有单核心,RK3588 NPU是3核心。

4、RKNPU软件推理框架

下图展示了RKNPU各层级之间的关系:

RKNPU应用层可以分为RKNPU动态库、RKNN API、应用程序三个部分。关于API,rk提供了Python和C两种程序接口,而动态库就是接口的具体实现。

5、RKNN模型

我们需要将常用的模型转换成RKNPU所支持的RKNN模型,才可以使用API进行后续的AI应用程序编写。关于模型之间的转换会涉及到两个工具,分别是RKNN-Toolkit2RKNN-Toolkit-Lite2

RKNN-Toolkit2:RKNN-Toolkit2是为用户提供在PC平台上进行模型转换、推理和性能评估的开发套件,用户通过该工具提供的Python接口进行相关功能的开发。(项目地址:GitHub - airockchip/rknn-toolkit2

RKNN-Toolkit2-Lite2:是RKNN-Toolkit2的阉割版,只保留了推理功能,直接运行在板卡上。二者的区别如下所示:

之前还提到,rk提供了Python和C两种API接口。而C API依赖于RKNPU2 SDK,项目地址在:https://github.com/airockchip/rknn-toolkit2/tree/master/rknpu2。可以把RKNN-Toolkit2-Lite2RKNPU2 SDK放在一起比较,前者向上提供的是Python API接口,后者向上提供的是C API接口,但它们都是运行在板卡上的,并且RKNPU2 SDK提供的接口会更多更复杂,实现的效果更好。下图展示了二者的区别:

整个开发流程可以总结如下:

  1. 在PC机下,基于RKNN-Toolkit2提供的Python接口进行RKNN模型构建、加载、测试等验证操作。
  2. 在PC机下验证完成后,就轮到项目部署。即将RKNN-Toolkit2-Lite2或RKNPU2 SDK部署到开发板。

6、学习流程

总结关于rknn学习流程大致如下:

1、环境搭建

2、了解如何在pc端使用rknn-toolkit2

3、了解如何在板卡端使用rknn-toolkit-lite2

4、了解如何在板卡端使用rknpu2 sdk

5、项目实践

相关推荐
林政硕(Cohen0415)22 天前
RK3568 NPU RKNN(二):RKNN-ToolKit2环境搭建
rknn·rk3568·rknpu·rknn-toolkit2
chenchao_shenzhen24 天前
RK3568嵌入式音视频硬件编解码4K 60帧 rkmpp FFmpeg7.1 音视频开发
ffmpeg·音视频·rk3588·音视频开发·嵌入式开发·瑞芯微rk3568·硬件编解码
MintonLee复现侠24 天前
记录RK3588的docker中启动rviz2报错
docker·容器·ros·rk3588·rviz·rviz2
逸俊晨晖1 个月前
香橙派 RK3588 部署千问大模型 Qwen2-VL-2B 推理视频
语言模型·音视频·rk3588·香橙派
ARM+FPGA+AI工业主板定制专家1 个月前
基于ARM+FPGA多通道超声信号采集与传输系统设计
linux·人工智能·fpga开发·rk3588·rk3568·codesys
tiaoteek1 个月前
rk3588开发板使用硬件编码处理视频
音视频·rk3588
沉在嵌入式的鱼2 个月前
RK3588移植Openssl库
linux·rk3588·openssl
Industio_触觉智能2 个月前
量产技巧之RK3588 Android12默认移除导航栏&状态栏
android·rk3588·开发板·核心板·瑞芯微·rk3588j
沉在嵌入式的鱼2 个月前
使用nomachine远程连接ARM设备桌面
arm开发·rk3588·远程连接·nomachine