rk3568环境配置和推理报错: RKNN_ERR_MALLOC_FAIL

前言

最近在部署算法在板子侧遇到的一些问题汇总一下:

一、版本问题

经过测试现在将自己环境配置如下:

本地linux安装rknn-toolkit2-1.5.0

  1. 本地Linux使用的miniconda新建的一个python虚拟环境(自行网上查找相关方法)
  2. 安装好自己的虚拟环境之后:安装所需的依赖包
bash 复制代码
 sudo apt-get install libxslt1-dev zlib1g-dev libglib2.0 libsm6 libgl1-mesa-glx libprotobuf-dev gcc 
  1. 将官方的RKNN-Toolkit2库git到linux本地:(如果提示没有找到git命令,使用:sudo apt install git-all安装git工具)
bash 复制代码
 git clone https://github.com/rockchip-linux/rknn-toolkit2
  1. 进入 Toolkit2 工程文件夹, 根据工程的保存路径修改 cd 命令中的路径。
bash 复制代码
cd ~/rknn-toolkit2
  1. 安装必要相应版本的依赖包(这里我安装和我自己linux匹配的py3.8版本)
bash 复制代码
 pip3 install -r doc/requirements_cp38-1.5.0 
  1. 安装 RKNN-Toolkit2(Python3.6 for x86_64)
bash 复制代码
 pip3 install package/rknn_toolkit2-1.5.0+1fa95b5c-cp38-cp38-linux_x86_64
  1. 检查 RKNN-Toolkit2 是否安装成功。 出现这个界面,就说明本地linux端的安装已经成功,
  2. 可以运行官方的examples案例检测:rknn-toolkit2/examples/onnx/yolov5

板子RK3568环境安装

  1. git源码到板子上
bash 复制代码
git clone https://github.com/rockchip-linux/rknn-toolkit2
bash 复制代码
cd ./rknn_toolkit_lite2

文件结构如下:

  1. 环境安装
bash 复制代码
 sudo apt update
#安装python工具等
sudo apt-get install python3-dev python3-pip gcc
#安装相关依赖和软件包
pip3 install wheel
sudo apt-get install -y python3-opencv
sudo apt-get install -y python3-numpy
sudo apt -y install python3-setuptools
  1. Toolkit Lite2工具安装:
bash 复制代码
# 进入到rknn_toolkit_lite2目录下,
cd rknn_toolkit_lite2/
# ubuntu22 python3.7
pip3 install packages/rknn_toolkit_lite2-1.5.0-cp310-cp310m-linux_aarch64.whl
  1. 检测安装成功
bash 复制代码
python3
>>> from rknnlite.api import RKNNLite
>>>
  1. 运行官方的demo
    此时运行一定是在rknn_toolkit_lite2这个文件下找到examples进行运行:

运行我的demo:仓库地址:https://gitee.com/wangyoujie11/rk3568_-demo

Mnist_PC放在本地电脑的linux环境下,激活自己的python虚拟环境,然后python test.py就可以运行

Mnist_rk3568放在板子的linux环境下,然后python3 rk3568_test.py就可以运行

运行结果分别如下:

pc端(程序里加载的1.png):

RK3568板子端(程序里加载的7.png):

---------------------------------------------分割线(不定期更新)-----------------------------------------

问题一

复制代码
在使用RK3568开发板的时候,在板子侧部署.rknn模型推理的时候报错:

*Exception: RKNN init failed. error code: RKNN_ERR_MALLOC_FAIL*

然后查看官方的手册发现报错提示:内存分配失败

但是没有对应的解决方法,只能自己debug了(一杯茶,一包烟,一个bug找一天)...

后面发现问题所在:我的.onnx模型输出如下:有多个输出,导致在本地linux下可以运行自己的模型,但是在板子上由于资源受限,导致板子的内存分配失败。所以解决的办法就是将自己的.onnx模型的输出给减少。https://netron.app/可以将自己的.onnx模型加载看输入输出

bash 复制代码
#原xxx.onnx文件放在onnx文件夹下,然后创建一个新的文件夹newonnx用来存放新的.onnx模型
#版本说明这里的.onnx模型是在pytorch版本1.6.0~1.10.1直接训练的模型,并且在onnx版本在1.7.0~1.10.0之间
import onnx
model = onnx.load('./onnx/xxx.onnx')
node = model.graph.output[1]
model.graph.output.remove(node)
onnx.save(model, './newonnx/xxx.onnx')

model = onnx.load('./newonnx/xxx.onnx')
for i in range(1,9): #根据自己要删除的节点设置范围
    node = model.graph.output[1]
    model.graph.output.remove(node)
    onnx.save(model, './newonnx/xxx.onnx')

经过上面的代码裁剪.onnx模型之后

得到这个新的.onnx模型之后,就可以由本地Linux运行rknn的对应api将.onnx模型转为.rknn模型,然后将.rknn模型在板子上进行推理了。

相关推荐
DataCastle几秒前
第三届Bio-OS AI开源大赛启动会隆重举行
人工智能
后端小肥肠9 分钟前
躺赚必备!RPA+Coze+豆包:公众号自动发文,AI率0%亲测有效(附AI率0%提示词)
人工智能·aigc·coze
摘星编程20 分钟前
CloudBase AI ToolKit实战:从0到1开发一个智能医疗网站
人工智能·腾讯云·ai代码远征季#h5应用·ai医疗应用·cloudbase开发
锅挤25 分钟前
深度学习5(深层神经网络 + 参数和超参数)
人工智能·深度学习·神经网络
一支烟一朵花30 分钟前
630,百度文心大模型4.5系列开源!真香
人工智能·百度·开源·文心一言
网安INF31 分钟前
深层神经网络:原理与传播机制详解
人工智能·深度学习·神经网络·机器学习
喜欢吃豆36 分钟前
目前最火的agent方向-A2A快速实战构建(二): AutoGen模型集成指南:从OpenAI到本地部署的全场景LLM解决方案
后端·python·深度学习·flask·大模型
AIbase20241 小时前
国内MCP服务平台推荐!aibase.cn上线MCP服务器集合平台
运维·服务器·人工智能
喜欢吃豆2 小时前
快速手搓一个MCP服务指南(九): FastMCP 服务器组合技术:构建模块化AI应用的终极方案
服务器·人工智能·python·深度学习·大模型·github·fastmcp
星融元asterfusion2 小时前
基于路径质量的AI负载均衡异常路径检测与恢复策略
人工智能·负载均衡·异常路径