3588 yolov8 onnx 量化转 rknn 并运行

本教程重点不在如何训练模型，重点是全流程链路，想学训练的可以网上找教程

环境

python 3.10.x
rknn-toolkit2-2.2.0
ultralytics_yolov8
rknn 驱动版本2.2

模型训练

yolov8仓库地址：https://github.com/airockchip/ultralytics_yolov8.git
下载项目到本地后，按照yolov8流程正常训练即可，里面有导出onnx的代码，运行一下就会生成onnx模型
只能用这个仓库进行训练，不能用yolov8官方仓库代码训练，因为需要兼容rknn npu算子，改了网络结构

bash 复制代码

# 安装项目
pip install -e .

bash 复制代码

# 修改配置文件，model字段改为训练好的模型路径
ultralytics/cfg/default.yaml
	model: runs/detect/train/weights/best.pt

bash 复制代码

# 模型导出onnx文件
python ultralytics/engine/exporter.py

服务器上安装（onnx转rknn）

下载rknn-toolkit2

bash 复制代码

wget https://github.com/airockchip/rknn-toolkit2/archive/refs/tags/v2.2.0.zip
git clone https://gitee.com/agricultureiot/rknn-yolov8.git

解压

bash 复制代码

unzip v2.2.0.zip

安装(根据python版本)

bash 复制代码

pip install -r requirements_cp310-2.2.0.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install rknn_toolkit2-2.2.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

下载示例项目

bash 复制代码

git clone https://github.com/airockchip/rknn_model_zoo.git

准备校准集

目的量化时矫正和测试模型
从训练数据集中随机挑选20-50张数据集，尽量包含所有标签，放到指定目录
编写txt索引文件，文件内容为20张图片的每个图片路径

python 复制代码

# 参考目录结构
datasets
   ├── images
   | ├── 123.ipg
   | ├── ......
   | └── 456.jpg
   └── dataset.txt

修改文件的数据集路径和rknn模型导出路径：examples/yolov8/python/convert.py

量化

onnx转为rknn模型

bash 复制代码

python convert.py yolov8n.onnx rk3588

yolov8n.onnx 模型网络结构（不是yolov8s）

转为rknn 后的模型网络结构

如果结构不对，是无法运行的

运行（3588开发板上操作）

升级npu驱动版本

新版npu驱动地址：https://github.com/airockchip/rknn-toolkit2/blob/master/rknpu2/runtime/Linux/librknn_api/aarch64/librknnrt.so
将so替换到/usr/lib目录下，如果版本一致则不用升级驱动

安装依赖

依赖地址(python调用npu的依赖)：https://github.com/airockchip/rknn-toolkit2/blob/master/rknn-toolkit-lite2/packages/rknn_toolkit_lite2-2.2.0-cp310-cp310-linux_aarch64.whl

bash 复制代码

python install rknn_toolkit_lite2-2.2.0-cp310-cp310-linux_aarch64.whl

在板端安装 RKNN-Toolkit-lite 后，使用对应 demo 的 python 推理脚本，将 from rknn.api import RKNN 修改为 from rknnlite.api import RKNNLite as RKNN 才可以实现板端的 python 推理
将rknn模型复制到开发板上
运行代码

bash 复制代码

python yolov8-img.py

注意点

如果在边缘设备上运行需要替换包的引入

python 复制代码

from rknn.api import RKNN
替换为下面的写法
from  rknnlite.api import RKNNLite as RKNN

npu使用率查看

bash 复制代码

watch sudo cat /sys/kernel/debug/rknpu/load

查看系统

bash 复制代码

uname -a

bash 复制代码

cat /etc/os-release