瑞芯微(EASY EAI)RV1126B yolov11-track多目标跟踪部署教程

1. yolov11_track简介(多目标跟踪算法)

YOLO11是 Ultralytics YOLO系列实时物体检测器的最新版本,重新定义了在尖端准确度、速度和效率方面的可能性。在前几代 YOLO 版本的显著进步基础上,YOLO11 在架构和训练方法上引入了重大改进,使其成为广泛计算机视觉任务的灵活选择。

Bytetrack多目标跟踪是一种tracking-by-detection范式的简单高效的数据关联的跟踪方法BYTE。它利用检测框和跟踪轨迹之间的相似性,在保留高分检测结果的同时,从低分检测结果中去除背景,挖掘出真正的物体(遮挡、模糊等困难样本),从而降低漏检并提高轨迹的连贯性。BYTE能轻松应用到9种state-of-the-art的MOT方法中,并取得1-10个点不等的IDF1指标的提升。ByteTrack以30 FPS的运行速度在MOT17上取得80.3 MOTA,77.3 IDF1和63.1 HOTA,目前位居MOTChallenge榜单第一。

本文将详细描述yolov11+ByteTrack的应用过程以及如何部署到RV1126B平台上。

上述为yolov11+ByteTrack的执行流程:视频画面输入至yolo11检测算法中,yolo11检测识别出目标信息(坐标和置信度);然后将yolov11的输出结果转成Bytetrack输入对象,经过Bytetrack跟踪算法后,输出跟踪结果(目标ID和坐标)。

从上述流程图可知:yolov11和ByteTrack是相互独立的所以你可以将yolo11换成任何的目标检测算法;并且Bytetrack的跟踪目标不仅仅只局限性与行人,它可以跟踪任意目标,如:车辆,动物等。

1.1 Yolov11算法

关于yolov11算法的训练以及部署教程,请参考:

EASY EAI灵眸科技 | 让边缘AI落地更简单

1.2 ByteTrack算法

ByteTrack是一种高效目标跟踪算法,于2021年发布,在MOT17数据集上取得突破性成果,MOTA指标超80,推理速度高达30FPS。算法核心在于区分高低置信度检测框,保留低置信度框用于后续确认,有效解决遮挡问题,减少IDSwitch。

ByteTrack 核心思想可以概括为:

  1. 区分高置信度检测框与低置信度检测框,不同置信度检测框采取不同处理方式。
  2. 保留低置信度检测框,在后续可能会重新确认为 confirm 状态。而不是像传统 MOT 算法选择删除。

ByteTrack 可以有效解决一些遮挡,且能够保持较低的 IDSwitch。因为目标会因为被遮挡检测置信度有所降低,当重新出现时,置信度会有所升高。可以想象:

  1. 当目标逐渐被遮挡时,跟踪目标与低置信度检测目标匹配。
  2. 当目标遮挡逐渐重现时,跟踪目标与高置信度检测目标匹配。

下面是ByteTrack算法流程图:

2. Yolov11_track部署示例

本小节展示yolov11+Bytetrack在EASY EAI Nano-TB的部署过程,本章章节使用的yolo11n.rknn和yolo11s.rknn是由Ultralytics 官方提供的yolo11n.pt和yolo11s.pt转换而来。

2.1 准备工作

2.1.1 硬件准备

需准备EASY EAI Nano-TB开发板,Type-C数据线、网线。可以基于MobaXterm的ssh远程桌面登录调试。首先使用网线把EASY EAI Nano-TB的千兆以太网接口连着路由LAN口的交换机 或者路由器的LAN口连接,如下图所示。

以及串口连接。

2.1.2 开发环境准备

如果您初次阅读此文档 ,请阅读《入门指南/开发环境准备/Easy-Eai编译环境准备与更新》,并按照其相关的操作,进行编译环境的部署

在PC端Ubuntu系统中执行run脚本,进入EASY-EAI编译环境,具体如下所示。

复制代码
cd ~/develop_environment 
./run.sh 2204 

2.1.3 板卡依赖库安装

通过串口调试ssh调试,进入板卡后台。由于本跟踪算法依赖libeigen3-dev库,所以需要在板卡提前进行安装:

复制代码
sudo apt-get update 
sudo apt-get install libeigen3-dev 

2.2 源码下载以及例程编译

下载yolo11_track C Demo示例文件。

百度网盘链接: https://pan.baidu.com/s/1X3Y6StZzMnRczwuzfM4XXw?pwd=1234(提取码: 1234)。

下载程序包移至ubuntu环境后,执行以下指令解压:

复制代码
tar -xvf yolov11_track_C_demo.tar.bz2

下载解压后如下图所示:

在EASY-EAI 编译环境下,进入到对应的例程目录执行编译操作,具体命令如下所示:

复制代码
cd /opt/nfsroot/rknn-src/RV1126B/yolov11_track_C_demo 
./build.sh 

同时,把可执行程序目录yolov11_track_demo_release*/* 复制到开发板*/userdata*目录上:

复制代码
cp yolov11_track_demo_release/ /mnt/userdata/ -rf

2.3 开发板执行yolov11跟踪算法

通过串口调试ssh调试,进入板卡后台,定位到例程部署的位置,如下所示:

复制代码
cd /userdata/yolov11_track_demo_release/

运行例程命令如下所示:

复制代码
chmod 777 yolov11_track_demo 
sudo ./yolov11_track_demo yolov11s_rv1126b.rknn test.mp4 

执行结果如下图所示,yolo11s运行耗时48ms左右,Bytetrack耗时6.8ms左右:

在EASY-EAI编译环境,可以取回跟踪结果视频:

复制代码
cp /mnt/userdata/yolov11_track_demo_release/output.avi .

测试结果如下图所示:

至此,yolov11_track目标跟踪例程已成功在板卡运行。

3. 资料下载

相关推荐
灵动小溪1 小时前
claude code工具PC安装部署
人工智能·算法
牵牛老人1 小时前
CAN通讯实战:Qt基于周立功 USBCAN 的 CAN 总线通信开发全攻略
网络·qt·系统架构
扬帆破浪1 小时前
免费开源AI软件.桌面单机版,可移动的AI知识库,察元 AI桌面版:Windows装包被防病毒拦了 看安装日志和签名链的实战
人工智能·windows·开源·知识图谱
谷雨不太卷1 小时前
计算机网络:套接字
linux·服务器·计算机网络
YuanDaima20481 小时前
WSL2 与 Ubuntu 22.04 基础环境部署指南
linux·运维·服务器·人工智能·ubuntu·docker
初心未改HD1 小时前
机器学习之决策树详解
人工智能·决策树·机器学习
万邦科技Lafite1 小时前
API接口一键获取商品评论,根据商品评论分析客户画像
linux·服务器·数据库·windows·microsoft·电商开放平台
GitFun1 小时前
7.4 万 Star 的开源记忆系统,让 AI 编程助手不再“失忆
人工智能
数据门徒1 小时前
神经网络原理 第七章:委员会机器
人工智能·神经网络·机器学习