RV1126 RKNN环境搭建记录

下载资源

复制代码

https://github.com/rockchip-linux/rknn-toolkit
https://github.com/airockchip/rknn_model_zoo/tree/main/examples/yolov5

通过github下载 rknn-toolkit-v1.7.5-packages.tar.gz 搭建py环境

windows 环境

使用conda创建python3.6 需要cpu版本

复制代码

tensorflow==1.14.0
torch==1.10.0+cpu
torchvision==0.11.0+cpu
mxnet==1.5.0

opencv的安装

复制代码

pip install opencv-python==4.5.4.60

安装 rknn_toolkit-1.7.5-cp36-cp36m-win_amd64.whl

其中onnx相关的库onnxoptimizer需要cmake环境来重新编译,vs2022 c++也需要存在

windows USB OTG

需要adb与NTB, 安装rknn中的 zadig-2.4.exe 可能需要重启系统.

查询设备列表

复制代码

from rknn.api import RKNN

if __name__ == '__main__':
    rknn = RKNN()
    devices = rknn.list_devices()
    print(devices)
    rknn.release()

会显示出:

复制代码

*************************
all device(s) with ntb mode:
e97ee02154b70c05
*************************

Yolov5模型转换

参考 https://github.com/airockchip/rknn_model_zoo 中的yolov5转rknn脚本 convert.py

pt模型转onnx

yolov5(6.0) 这是单独的python环境,与上面不一样

复制代码

python export.py --weights %file% --img 640 --device cpu --include onnx --batch-size 1  --train --opset 12

我转换出的模型是3输出

转换

复制代码

python convert.py yolov5.onnx rv1126 fp

其模型信息是FP16的输入输出,推理一张图片太慢了6秒多

复制代码

==input=================
index=0, name=images_208, n_dims=4, n_elems=1228800, size=2457600, fmt=NCHW(0), type=FP16(1), qnt_type=NONE(0), zp=112863, scale=0.000000
640,640,3,1,

==output 0=================
index=0, name=Transpose_Transpose_217/out0_0, n_dims=5, n_elems=1632000, size=3264000, fmt=NCHW(0), type=FP16(1), qnt_type=NONE(0), zp=112863, scale=0.000000
85,80,80,3,1,
==output 1=================
index=1, name=Transpose_Transpose_231/out0_1, n_dims=5, n_elems=408000, size=816000, fmt=NCHW(0), type=FP16(1), qnt_type=NONE(0), zp=112863, scale=0.000000
85,40,40,3,1,
==output 2=================
index=2, name=Transpose_Transpose_245/out0_2, n_dims=5, n_elems=102000, size=204000, fmt=NCHW(0), type=FP16(1), qnt_type=NONE(0), zp=112863, scale=0.000000
85,20,20,3,1,

如何量化与预编译

复制代码

python convert.py yolov5.onnx 

==input=================
index=0, name=images_208, n_dims=4, n_elems=1228800, size=1228800, fmt=NCHW(0), type=UINT8(3), qnt_type=AFFINE(2), zp=0, scale=0.003922
640,640,3,1

==output 0=================
index=0, name=Transpose_Transpose_217/out0_0, n_dims=5, n_elems=1632000, size=1632000, fmt=NCHW(0), type=UINT8(3), qnt_type=AFFINE(2), zp=184, scale=0.098818
85,80,80,3,1
==output 1=================
index=1, name=Transpose_Transpose_231/out0_1, n_dims=5, n_elems=408000, size=408000, fmt=NCHW(0), type=UINT8(3), qnt_type=AFFINE(2), zp=167, scale=0.081664
85,40,40,3,1
==output 2=================
index=2, name=Transpose_Transpose_245/out0_2, n_dims=5, n_elems=102000, size=102000, fmt=NCHW(0), type=UINT8(3), qnt_type=AFFINE(2), zp=163, scale=0.078188
85,20,20,3,1
==output process u8=========
大约299毫秒
如何验证推理结果..