《【北京迅为】itop-3568开发板NPU使用手册》- 第 7章 使用RKNN-Toolkit-lite2

**《【北京迅为】itop-3568开发板NPU使用手册》**系统性地介绍了RKNPU从入门到应用开发的全流程知识体系。本手册以"认识工具---构建环境---模型转换---部署实践"为主线,为开发者在Linux和Android双平台上提供完整的NPU应用开发指导。

本手册既适合嵌入式AI开发初学者系统学习,也可作为高级开发者的技术参考,帮助开发者高效利用RKNPU实现各类AI应用的部署与优化。


【公众号】迅为电子

【交流群】861311530

【视频展示】【【北京迅为】基于RK3568/RK3588开发板的AI图像识别方案】

【视频教程】【AI深度学习推理加速器】------RKNPU2 从入门到实践(基于RK3588和RK3568)

完整教程及配套资料,关注我的B站👉【北京迅为电子】或公众号,回复【RKNPU2】即可领取,你的关注是我更新的最大动力~


第 7章 使用RKNN-Toolkit-lite2

7.1 主要功能说明

RKNNToolkit2工具包中包含了RKNN Toolkit Lite2工具,RKNN Toolkit Lite2工具只可以在开发板上部署运行RKNN模型,不能进行模型转换,如果非RKNN模型,请使用RKNN-Toolkit2 来进行转换。

RKNN Toolkit Lite2 为 Rockchip NPU 平台提供 Python 编程接口,帮助用户部署 RKNN 模型,加速 AI 应用的落地,方便开发人员快速上手,推荐使用!!!

RKNN Toolkit Lite2工具支持运行在Debian10/Debian11(aarch64)

开发板上系统python版本为3.7或者3.9版本

Python库依赖为numpy 、ruamel.yaml、psutils

7.2 Debian更换下载源

开发板烧写Debian系统,开发板要保持联网状态,首先Debian系统更换国内下载源。

1 在开发板终端使用以下命令备份软件源,如下图所示:

复制代码
cp /etc/apt/sources.list /etc/apt/sources.list_back

2然后使用以下命令对该软件源进行修改替换成为阿里源,如下图所示:

复制代码
vim /etc/apt/sources.list

sources.list内容修改为如下所示:

复制代码
deb http://mirrors.aliyun.com/debian/ buster main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster main non-free contrib
deb http://mirrors.aliyun.com/debian-security buster/updates main
deb-src http://mirrors.aliyun.com/debian-security buster/updates main
deb http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib
deb http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib

3然后使用以下命令来更新系统资源列表,如下图所示:

apt-get update

4等待更新完成,至此系统软件源就更换成功了。

7.3安装 RKNN Toolkit Lite2

1 输入以下命令安装 Python3.7、pip3 、gcc

apt-get install python3 python3-dev python3-pip gcc

2安装相关依赖,输入以下命令:注: Toolkit-lite2 本身并不依赖 opencv-python,但是在示例中需要用到这个模块,所以安装时也一并安装。如果不用到图像相关的处理,可以不安装该依赖库

apt-get install -y python3-opencv

apt-get install -y python3-numpy

3 安装依赖包setuptools,输入以下命令:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple setuptools

4 输入以下命令升级pip

python3 -m pip install --upgrade pip

5 下载网盘资料中"iTOP-3568开发板\02_【iTOP-RK3568开发板】开发资料\11_NPU使用配套资料\04_RKNN-Toolkit-lite2工具"中rknn_toolkit_lite2.tar.gz压缩包,在windows上解压,然后通过U盘拷贝rknn_toolkit_lite2/packages/rknn_toolkit_lite2-1.3.0-cp37-cp37m-linux_aarch64.whl到开发板上。如下图所示:

6 安装 Toolkit-lite2,Debian10 ARM64 with python3.7

pip3 install rknn_toolkit_lite2-1.3.0-cp37-cp37m-linux_aarch64.whl

7.4 运行测试程序

1首先也需要部署运行环境,将库文件放入RK3568开发板上,我们将网盘资料"iTOP-3568开发板\02_【iTOP-RK3568开发板】开发资料\11_NPU使用配套资料\05_Linux_librknn_api\librknn_api\aarch64"路径下的文件通过U盘拷贝到开发板的/usr/lib目录,如下图所示:

2 下载网盘资料中"iTOP-3568开发板\02_【iTOP-RK3568开发板】开发资料\11_NPU使用配套资料\04_RKNN-Toolkit-lite2工具"中rknn_toolkit_lite2.tar.gz压缩包,在windows上解压,然后通过U盘拷贝rknn_toolkit_lite2/examples 文件夹下的 Demo inference_with_lite 放入RK3568开发板,这个demo是通过resnet残差神经网络识别"space_shuttle_224.jpg"这幅图片,然后运行,输入以下命令:

cd inference_with_lite/

python3 test.py

运行成功如下图所示:

通过结果TOP的训练集标签查询可知,识别结果是宇宙飞船,训练集标签可详见(++++https://gist.github.com/yrevar/942d3a0ac09ec9e5eb3a++++)。

其置信度为0.9996,是所有标签中最高的,和图片事实相符。

相关推荐
邵奈一3 分钟前
【紧急处理ZCode事件】ZCode 工作区快照静默上传:检测方法与三层防护实践
人工智能·学习·大模型·国产
烟雨江南7857 分钟前
会议语音识别私有化部署方案:音频不出内网,如何接入现有会议系统
人工智能·websocket·音视频·语音识别·ai客服
hzxxxz9 分钟前
从 2.4T 到 284B:模型变小之后,企业 AI 投入的 3 笔账
人工智能
4SAPI10 分钟前
大模型 API 聚合平台选型指南:企业与个人用户的接入架构、稳定性与成本评估
人工智能·php·agent
小K讲AI营销12 分钟前
AI基础设施融资路径的中美比较:资本市场模式与政策金融模式
大数据·数据库·人工智能
bmxy小明同学16 分钟前
2026-09-19-多模态看懂PDF
人工智能
是翎19 分钟前
2026 Agent Eval 全景图:从“会做”到“值得部署”
人工智能·驱动开发·深度学习·开源协议·imagen
净水深流19 分钟前
中国冷链冷库行业数据分析:从规模扩张到技术驱动
大数据·数据库·人工智能·冷库冷链
倔强的石头10623 分钟前
【深度学习】混合精度训练_FP16_BF16_FP32的权衡
人工智能·深度学习·机器学习