RK3588人工智能学习笔记-rknn_server代理服务使用介绍

CodingPioneer2024-09-15 9:17

RK3588人工智能学习笔记-rknn_server代理服务使用介绍

    • [1. 连板调试简介](#1. 连板调试简介)
    • [2. 环境要求](#2. 环境要求)
      • [2.1 硬件环境](#2.1 硬件环境)
      • [2.2 软件环境](#2.2 软件环境)
    • [3. rknn_server存放目录](#3. rknn_server存放目录)
      • [3.1 Android平台](#3.1 Android平台)
      • [3.2 Linux平台](#3.2 Linux平台)
    • [4. 启动步骤](#4. 启动步骤)
    • [5. 查看rknn_server详细日志](#5. 查看rknn_server详细日志)
      • [5.1 Android平台](#5.1 Android平台)
      • [5.2 Linux平台(非RV1103/RV1106/RV1103B)](#5.2 Linux平台(非RV1103/RV1106/RV1103B))
      • [5.3 Linux平台(RV1103/RV1106/RV1103B)](#5.3 Linux平台(RV1103/RV1106/RV1103B))
    • [6. 常见问题](#6. 常见问题)

近期学习了一些与大语言模型有关的知识，不过每次都使用自己办公的电脑测试很不方便，又不想再花钱买算力，正好有2台备用的RK3588的设备，看了参数，也有6TOPS的算力。想尝试把它当作跑模型的服务器。学习过程中用到的一些知识，记录下来，方便后期查阅。

1. 连板调试简介

RKNN Toolkit2的连板功能一般需要更新板端的 rknn_server 和 librknnrt.so/librknnmrt.so，并且手动启动 rknn_server 才能正常工作。

rknn_server: 是一个运行在板子上的后台代理服务，用于接收PC通过USB传输过来的协议，然后执行板端runtime对应的接口，并返回结果给PC。

  • librknnrt.so: 是一个板端的RKNPU Runtime库(非RV1103/RV1106/RV1103B平台不适用)。
  • librknnmrt.so: 是专用于RV1103/RV1106/RV1103B平台的RKNPU Runtime库。

开机后通过ps命令查看rknn_server进程是否已存在，如果已存在，则不需要手动启动，否则需要手动启动。

2. 环境要求

2.1 硬件环境

本文档适用如下硬件平台：

  • RV1103
  • RV1103B
  • RV1106
  • RK3562
  • RK3566系列
  • RK3568系列
  • RK3576系列
  • RK3588系列

2.2 软件环境

  • 若使用动态形状输入RKNN模型，要求rknn_server和RKNPU Runtime库版本>=1.5.0。
  • 若使用大于2GB的模型，要求rknn_server版本>=2.0.0b0。
  • 在RV1103/RV1106/RV1103B等小内存平台上，建议rknn_server版本>=2.1.0。

3. rknn_server存放目录

rknn_server存放在runtime目录下, 请根据板子上的系统选择相应版本的rknn_server,不同芯片和系统对应的rknn_server路径如下：

3.1 Android平台

系统 路径
32-bit Android runtime/Android/rknn_server/arm/rknn_server
64-bit Android runtime/Android/rknn_server/arm64/rknn_server

3.2 Linux平台

芯片 系统 路径
RV1103/RV1106/RV1103B 32-bit Linux runtime/Linux/rknn_server/armhf-uclibc/usr/bin/rknn_server
其他芯片 32-bit Linux runtime/Linux/rknn_server/armhf/usr/bin/rknn_server
其他芯片 64-bit Linux runtime/Linux/rknn_server/aarch64/usr/bin/rknn_server

4. 启动步骤

4.1 Android平台

进入rknpu2工程的根目录，在PC端执行下列命令启动代理服务:

  1. 重新挂载系统分区,使系统分区重新可写

    adb root && adb remount

  2. 更新代理程序

    // 64-bit Android系统
    adb push runtime/Android/rknn_server/arm64/rknn_server /vendor/bin/
    // 32-bit Android系统
    adb push runtime/Android/rknn_server/arm/rknn_server /vendor/bin/

  3. 更新RKNPU runtime库

    // 64-bit Android系统
    adb push runtime/Android/librknn_api/arm64-v8a/librknnrt.so /vendor/lib64
    // 32-bit Android系统
    adb push runtime/Android/librknn_api/armeabi-v7a/librknnrt.so /vendor/lib

  4. 修改代理程序权限

    adb shell chmod +x /vendor/bin/rknn_server

  5. 启动代理服务

    adb shell "killall rknn_server"
    adb shell "nohup /vendor/bin/rknn_server >/dev/null"&

  6. 检查代理服务是否启动成功：

    adb shell ps -ef|grep rknn_server

查看是否有rknn_server的进程id,如果存在表示代理服务启动成功;否则请在板子上手动启动代理服务,步骤如下:

adb shell命令进入板子shell界面后,执行下列命令启动代理服务

nohup /vendor/bin/rknn_server > /dev/null&

4.2 Linux平台(非RV1103/RV1106/RV1103B)

  1. 更新代理程序

    // 64-bit Linux系统
    adb push runtime/Linux/rknn_server/aarch64/usr/bin/rknn_server /usr/bin/
    // 32-bit Linux系统
    adb push runtime/Linux/rknn_server/armhf/usr/bin/rknn_server /usr/bin/

  2. 更新RKNPU runtime库

    // 64-bit Linux系统
    adb push runtime/Linux/librknn_api/aarch64/librknnrt.so /usr/lib
    // 32-bit Linux系统
    adb push runtime/Linux/librknn_api/armhf/librknnrt.so /usr/lib

  3. 修改代理程序权限

    adb shell chmod +x /usr/bin/rknn_server

  4. 启动代理服务

    adb shell "killall rknn_server"
    adb shell "nohup /usr/bin/rknn_server >/dev/null"&

  5. 检查代理服务是否启动成功：

    adb shell ps -ef|grep rknn_server

查看是否有rknn_server的进程id,如果存在表示代理服务启动成功;否则请在板子上手动启动代理服务,方法如下:

adb shell命令进入板子shell界面后,执行下列命令启动代理服务

nohup /usr/bin/rknn_server > /dev/null&

4.3Linux平台(RV1103/RV1106/RV1103B)

RV1103/RV1106/RV1103B上使用的RKNPU Runtime库是librknnmrt.so，使用armhf-uclibc目录下的rknn_server,启动步骤如下：

  1. 更新代理程序

    adb push runtime/Linux/rknn_server/armhf-uclibc/usr/bin/rknn_server /oem/usr/bin

  2. 更新RKNPU runtime库

    adb push runtime/Linux/librknn_api/armhf-uclibc/librknnmrt.so /oem/usr/lib

  3. 修改代理程序权限

    adb shell chmod +x /oem/usr/bin/rknn_server

  4. 启动代理服务

    adb shell "killall rknn_server"
    adb shell "nohup /oem/usr/bin/rknn_server >/dev/null"&

  5. 检查代理服务是否启动成功：

    adb shell ps |grep rknn_server

查看是否有rknn_server的进程id,如果存在表示代理服务启动成功;否则请在板子上手动启动代理服务,方法如下:

adb shell命令进入板子shell界面后,执行下列命令启动代理服务

nohup /oem/usr/bin/rknn_server > /dev/null&

5. 查看rknn_server详细日志

代理服务默认不开启详细日志，如遇到连板过程报错，需开启详细日志来定位错误原因，请参考相应平台执行步骤：

5.1 Android平台

  1. 设置环境变量开启详细日志,并启动代理:

    adb logcat -c
    adb shell "killall rknn_server"
    adb shell "setprop persist.vendor.rknn.server.log.level 5 && nohup /vendor/bin/rknn_server >/dev/null"&

  2. 检查代理服务是否启动成功：

    adb shell ps -ef|grep rknn_server

  3. 运行PC上python推理程序

  4. 查看运行日志

    adb logcat

  5. 开启详细日志会导致推理速度变慢，恢复默认日志等级的命令如下：

sh 复制代码 
adb shell "killall rknn_server"
adb shell "setprop persist.vendor.rknn.server.log.level 0 && nohup /vendor/bin/rknn_server >/dev/null"&

5.2 Linux平台(非RV1103/RV1106/RV1103B)

  1. 创建目录,用于保存代理服务的详细日志

    adb shell mkdir -p /userdata

  2. 设置环境变量开启详细日志,并启动代理:

    adb shell "killall rknn_server"
    adb shell "export RKNN_SERVER_LOGLEVEL=5 && nohup /usr/bin/rknn_server >/userdata/server.log"&

  3. 检查代理服务是否启动成功：

    adb shell ps -ef|grep rknn_server

查看是否有rknn_server的进程id,如果存在表示代理服务启动成功;否则请在板子上手动启动代理服务,方法如下:

adb shell命令进入板子shell界面后,执行下列命令启动代理服务

export RKNN_SERVER_LOGLEVEL=5
nohup /usr/bin/rknn_server >/userdata/server.log&
exit

  1. 运行PC上python推理程序

  2. 查看日志

    adb shell cat /userdata/server.log

  3. 开启详细日志会导致推理速度变慢，恢复默认日志等级的命令如下：

sh 复制代码 
   adb shell "killall rknn_server"
   adb shell "export RKNN_SERVER_LOGLEVEL=0 && nohup /usr/bin/rknn_server >/userdata/server.log"&

5.3 Linux平台(RV1103/RV1106/RV1103B)

  1. 创建目录,用于保存代理服务的详细日志

    adb shell mkdir -p /userdata

  2. 设置环境变量开启详细日志,并启动代理:

    adb shell "killall rknn_server"
    adb shell "export RKNN_SERVER_LOGLEVEL=5 && nohup /oem/usr/bin/rknn_server >/userdata/server.log"&

  3. 检查代理服务是否启动成功：

    adb shell ps|grep rknn_server

查看是否有rknn_server的进程id,如果存在表示代理服务启动成功;否则请在板子上手动启动代理服务,方法如下:

adb shell命令进入板子shell界面后,执行下列命令启动代理服务

export RKNN_SERVER_LOGLEVEL=5
nohup /oem/usr/bin/rknn_server >/userdata/server.log&
exit

  1. 运行PC上python推理程序

  2. 查看日志

    adb shell cat /userdata/server.log

  3. 开启详细日志会导致推理速度变慢，恢复默认日志等级的命令如下：

sh 复制代码 
adb shell "killall rknn_server"
adb shell "export RKNN_SERVER_LOGLEVEL=0 && nohup  /oem/usr/bin/rknn_server >/userdata/server.log"&

6. 常见问题

问题1

Debian系统上rknn_server服务已经后台启动, 但是连板推理时依旧有如下报错：

D NPUTransfer: ERROR: socket read fd = 4, n = -1: Connection reset by peer
D NPUTransfer: Transfer client closed, fd = 4
E RKNNAPI: rknn_init,  server connect fail!  ret = -9(ERROR_PIPE)!
E build_graph: The rknn_server on the concected device is abnormal, please start the rknn_server on the device according to:
               https://github.com/airockchip/rknn-toolkit2/blob/master/doc/rknn_server_proxy.md

解决方法：

这通常是由于Debian固件上的adbd程序没有监听5037端口导致的，可以在板子上执行以下命令来判断:

netstat -n -t -u -a

如果输出结果中没有5037端口,则执行下列命令下载和更新adbd程序, 并重启板子;否则,跳过下列步骤。

wget -O adbd.zip https://ftzr.zbox.filez.com/v2/delivery/data/7f0ac30dfa474892841fcb2cd29ad924/adbd.zip
unzip adbd.zip
adb push adbd/linux-aarch64/adbd /usr/bin/adbd

进入设备shell命令，增加adbd的可执行权限

sh 复制代码 
adb shell "chmod +x /usr/bin/adbd"
adb reboot

重启设备后，按照启动步骤启动rknn_server服务，再次尝试连板推理。

问题2

在RV1103/RV1106/RV1103B设备上遇到"E RKNN: failed to allocate fd, ret: -1, errno: 12"或者OOM报错。
解决方法：

在RV1103/RV1106/RV1103B设备上运行RkLunch-stop.sh，关闭其他占用内存的应用，并将rknn_server升级到>=2.1.0版本后再连板推理。

问题3

RV1103/RV1106/RV1103B使用init_runtime python接口时，没有逐层的耗时。

原因：RV1103/RV1106/RV1103B上不支持perf_debug=True参数。

问题4

RV1103/RV1106/RV1103B使用accuracy_analysis python接口使用时，因为模型太大，板子上存储容量不够导致运行失败。

解决方法：

在设备端df -h查看存储空间情况，假设设备存储情况如下：

sh 复制代码 
Filesystem                Size      Used Available Use% Mounted on
ubi0:rootfs              17.0M     14.1M      2.9M  83% /
devtmpfs                 27.4M         0     27.4M   0% /dev
tmpfs                    27.5M         0     27.5M   0% /dev/shm
tmpfs                    27.5M      8.0K     27.5M   0% /tmp
tmpfs                    27.5M     84.0K     27.4M   0% /run
/dev/ubi5_0              20.6M     14.5M      6.1M  70% /oem
/dev/ubi6_0              52.8M     24.5M     28.2M  46% /userdata

从上面看出/userdata/目录的可用空间最大，故将/userdata/目录作为精度分析时保存中间结果文件的目录，再重启rknn_server，PC上执行命令如下：

adb shell "killall rknn_server"
adb shell "export RKNN_DUMP_DIR=/userdata/dumps && nohup /usr/bin/rknn_server >/dev/null"&

RV1103/RV1106/RV1103B的rknn_server默认的保存中间结果路径是/tmp/dumps，如果需要恢复默认路径，请执行下列命令：

adb 复制代码 
adb shell "killall rknn_server"
adb shell "unset RKNN_DUMP_DIR && nohup /usr/bin/rknn_server >/dev/null"&

如果设备存储空间不足，并且RV1103/RV1106/RV1103B固件支持NFS挂载，则可以将dump目录挂载到NFS目录后，再执行精度分析。假设目标服务器的IP为192.168.1.1，服务器NFS目录是/data0/nfs_shared，则在设备上执行下列命令将/userdata/dumps挂载到NFS目录

# 以241为例
mkdir -p /userdata/dumps
mount -t nfs -o nolock 192.168.1.1:/data0/nfs_shared /userdata/dumps

问题5

使用adb命令更新Runtime库后没有生效。

解决方法：

更新库后要重新启动rknn_server，下次连板推理才能生效。如果是RV1103/RV1106/RV1103B平台，确保将librknnmrt.so放在/oem/usr/lib目录，如果/usr/lib/目录下有同名的库，要删除/usr/lib/下的librknnmrt.so，并重启rknn_server。

问题6

Android系统启动代理服务遇到权限问题。

解决方法：

使用adb shell setenforce 0命令来关闭selinux。

相关推荐
lindsayshuo2 分钟前
jetson orin系列开发版安装cuda的gpu版本的opencv
人工智能·opencv
向阳逐梦2 分钟前
ROS机器视觉入门：从基础到人脸识别与目标检测
人工智能·目标检测·计算机视觉
陈鋆28 分钟前
智慧城市初探与解决方案
人工智能·智慧城市
qdprobot28 分钟前
ESP32桌面天气摆件加文心一言AI大模型对话Mixly图形化编程STEAM创客教育
网络·人工智能·百度·文心一言·arduino
QQ395753323729 分钟前
金融量化交易模型的突破与前景分析
人工智能·金融
QQ395753323729 分钟前
金融量化交易：技术突破与模型优化
人工智能·金融
-一杯为品-31 分钟前
【51单片机】程序实验5&6.独立按键-矩阵按键
c语言·笔记·学习·51单片机·硬件工程
The_Ticker42 分钟前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
Elastic 中国社区官方博客1 小时前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
jwolf21 小时前
摸一下elasticsearch8的AI能力：语义搜索/vector向量搜索案例
人工智能·搜索引擎
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10怎样让音频速度变慢？请跟随以下方法进行操作