《【北京迅为】itop-3568开发板NPU使用手册》- 第 7章 使用RKNN-Toolkit-lite2

**《【北京迅为】itop-3568开发板NPU使用手册》**系统性地介绍了RKNPU从入门到应用开发的全流程知识体系。本手册以"认识工具---构建环境---模型转换---部署实践"为主线,为开发者在Linux和Android双平台上提供完整的NPU应用开发指导。

本手册既适合嵌入式AI开发初学者系统学习,也可作为高级开发者的技术参考,帮助开发者高效利用RKNPU实现各类AI应用的部署与优化。


【公众号】迅为电子

【交流群】861311530

【视频展示】【【北京迅为】基于RK3568/RK3588开发板的AI图像识别方案】

【视频教程】【AI深度学习推理加速器】------RKNPU2 从入门到实践(基于RK3588和RK3568)

完整教程及配套资料,关注我的B站👉【北京迅为电子】或公众号,回复【RKNPU2】即可领取,你的关注是我更新的最大动力~


第 7章 使用RKNN-Toolkit-lite2

7.1 主要功能说明

RKNNToolkit2工具包中包含了RKNN Toolkit Lite2工具,RKNN Toolkit Lite2工具只可以在开发板上部署运行RKNN模型,不能进行模型转换,如果非RKNN模型,请使用RKNN-Toolkit2 来进行转换。

RKNN Toolkit Lite2 为 Rockchip NPU 平台提供 Python 编程接口,帮助用户部署 RKNN 模型,加速 AI 应用的落地,方便开发人员快速上手,推荐使用!!!

RKNN Toolkit Lite2工具支持运行在Debian10/Debian11(aarch64)

开发板上系统python版本为3.7或者3.9版本

Python库依赖为numpy 、ruamel.yaml、psutils

7.2 Debian更换下载源

开发板烧写Debian系统,开发板要保持联网状态,首先Debian系统更换国内下载源。

1 在开发板终端使用以下命令备份软件源,如下图所示:

复制代码
cp /etc/apt/sources.list /etc/apt/sources.list_back

2然后使用以下命令对该软件源进行修改替换成为阿里源,如下图所示:

复制代码
vim /etc/apt/sources.list

sources.list内容修改为如下所示:

复制代码
deb http://mirrors.aliyun.com/debian/ buster main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster main non-free contrib
deb http://mirrors.aliyun.com/debian-security buster/updates main
deb-src http://mirrors.aliyun.com/debian-security buster/updates main
deb http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster-updates main non-free contrib
deb http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib
deb-src http://mirrors.aliyun.com/debian/ buster-backports main non-free contrib

3然后使用以下命令来更新系统资源列表,如下图所示:

apt-get update

4等待更新完成,至此系统软件源就更换成功了。

7.3安装 RKNN Toolkit Lite2

1 输入以下命令安装 Python3.7、pip3 、gcc

apt-get install python3 python3-dev python3-pip gcc

2安装相关依赖,输入以下命令:注: Toolkit-lite2 本身并不依赖 opencv-python,但是在示例中需要用到这个模块,所以安装时也一并安装。如果不用到图像相关的处理,可以不安装该依赖库

apt-get install -y python3-opencv

apt-get install -y python3-numpy

3 安装依赖包setuptools,输入以下命令:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple setuptools

4 输入以下命令升级pip

python3 -m pip install --upgrade pip

5 下载网盘资料中"iTOP-3568开发板\02_【iTOP-RK3568开发板】开发资料\11_NPU使用配套资料\04_RKNN-Toolkit-lite2工具"中rknn_toolkit_lite2.tar.gz压缩包,在windows上解压,然后通过U盘拷贝rknn_toolkit_lite2/packages/rknn_toolkit_lite2-1.3.0-cp37-cp37m-linux_aarch64.whl到开发板上。如下图所示:

6 安装 Toolkit-lite2,Debian10 ARM64 with python3.7

pip3 install rknn_toolkit_lite2-1.3.0-cp37-cp37m-linux_aarch64.whl

7.4 运行测试程序

1首先也需要部署运行环境,将库文件放入RK3568开发板上,我们将网盘资料"iTOP-3568开发板\02_【iTOP-RK3568开发板】开发资料\11_NPU使用配套资料\05_Linux_librknn_api\librknn_api\aarch64"路径下的文件通过U盘拷贝到开发板的/usr/lib目录,如下图所示:

2 下载网盘资料中"iTOP-3568开发板\02_【iTOP-RK3568开发板】开发资料\11_NPU使用配套资料\04_RKNN-Toolkit-lite2工具"中rknn_toolkit_lite2.tar.gz压缩包,在windows上解压,然后通过U盘拷贝rknn_toolkit_lite2/examples 文件夹下的 Demo inference_with_lite 放入RK3568开发板,这个demo是通过resnet残差神经网络识别"space_shuttle_224.jpg"这幅图片,然后运行,输入以下命令:

cd inference_with_lite/

python3 test.py

运行成功如下图所示:

通过结果TOP的训练集标签查询可知,识别结果是宇宙飞船,训练集标签可详见(++++https://gist.github.com/yrevar/942d3a0ac09ec9e5eb3a++++)。

其置信度为0.9996,是所有标签中最高的,和图片事实相符。

相关推荐
Ai_easygo3 分钟前
AI Agent开发入门——从ReAct到Tool Calling,拆解Agent的底层运行逻辑
前端·人工智能·react.js
IT_陈寒1 小时前
Redis的持久化配置把我坑惨了:你以为数据安全了?
前端·人工智能·后端
miaowu3571 小时前
AI智能体推动数字化转型:从流程自动化到决策辅助的完整路线图
大数据·人工智能·自动化
阿里云大数据AI技术1 小时前
阿里云 Elasticsearch 日志采集与加工服务:让日志链路少一串组件,多一份稳定
人工智能·elasticsearch
ksueh1 小时前
AI写小说长篇创作中的上下文局限与外部记忆系统实践
人工智能
互联网江湖1 小时前
珞石机器人:向左科技股,向右零部件制造商?
大数据·人工智能
敖行客 Allthinker1 小时前
Parallels Ubuntu虚拟机项目如何让手机访问?完整解决方案
linux·运维·ubuntu
阿里云大数据AI技术2 小时前
从数据湖到多模态湖仓-基于阿里云EMR Serverless StarRocks与DLF Paimon构建AI时代的统一分析检索架构
人工智能
前端的阶梯2 小时前
浅谈Workflow和Agent的区别
人工智能
正在走向自律2 小时前
Deepseek V4 Flash 高效应用实战指南
人工智能·deepseek·deepseek v4·ai赋能中心