1. yolov11_track简介(多目标跟踪算法)
YOLO11是 Ultralytics YOLO系列实时物体检测器的最新版本,重新定义了在尖端准确度、速度和效率方面的可能性。在前几代 YOLO 版本的显著进步基础上,YOLO11 在架构和训练方法上引入了重大改进,使其成为广泛计算机视觉任务的灵活选择。

Bytetrack多目标跟踪是一种tracking-by-detection范式的简单高效的数据关联的跟踪方法BYTE。它利用检测框和跟踪轨迹之间的相似性,在保留高分检测结果的同时,从低分检测结果中去除背景,挖掘出真正的物体(遮挡、模糊等困难样本),从而降低漏检并提高轨迹的连贯性。BYTE能轻松应用到9种state-of-the-art的MOT方法中,并取得1-10个点不等的IDF1指标的提升。ByteTrack以30 FPS的运行速度在MOT17上取得80.3 MOTA,77.3 IDF1和63.1 HOTA,目前位居MOTChallenge榜单第一。
本文将详细描述yolov11+ByteTrack的应用过程以及如何部署到RV1126B平台上。

上述为yolov11+ByteTrack的执行流程:视频画面输入至yolo11检测算法中,yolo11检测识别出目标信息(坐标和置信度);然后将yolov11的输出结果转成Bytetrack输入对象,经过Bytetrack跟踪算法后,输出跟踪结果(目标ID和坐标)。
从上述流程图可知:yolov11和ByteTrack是相互独立的 ,所以你可以将yolo11换成任何的目标检测算法;并且Bytetrack的跟踪目标不仅仅只局限性与行人,它可以跟踪任意目标,如:车辆,动物等。
1.1 Yolov11算法
关于yolov11算法的训练以及部署教程,请参考:
1.2 ByteTrack算法
ByteTrack是一种高效目标跟踪算法,于2021年发布,在MOT17数据集上取得突破性成果,MOTA指标超80,推理速度高达30FPS。算法核心在于区分高低置信度检测框,保留低置信度框用于后续确认,有效解决遮挡问题,减少IDSwitch。
ByteTrack 核心思想可以概括为:
- 区分高置信度检测框与低置信度检测框,不同置信度检测框采取不同处理方式。
- 保留低置信度检测框,在后续可能会重新确认为 confirm 状态。而不是像传统 MOT 算法选择删除。
ByteTrack 可以有效解决一些遮挡,且能够保持较低的 IDSwitch。因为目标会因为被遮挡检测置信度有所降低,当重新出现时,置信度会有所升高。可以想象:
- 当目标逐渐被遮挡时,跟踪目标与低置信度检测目标匹配。
- 当目标遮挡逐渐重现时,跟踪目标与高置信度检测目标匹配。
下面是ByteTrack算法流程图:

2. Yolov11_track部署示例
本小节展示yolov11+Bytetrack在EASY EAI Nano-TB的部署过程,本章章节使用的yolo11n.rknn和yolo11s.rknn是由Ultralytics 官方提供的yolo11n.pt和yolo11s.pt转换而来。
2.1 准备工作
2.1.1 硬件准备
需准备EASY EAI Nano-TB开发板,Type-C数据线、网线。可以基于MobaXterm的ssh远程桌面登录调试。首先使用网线把EASY EAI Nano-TB的千兆以太网接口 与连着路由LAN口的交换机 或者路由器的LAN口连接,如下图所示。

以及串口连接。

2.1.2 开发环境准备
如果您初次阅读此文档 ,请阅读《入门指南/开发环境准备/Easy-Eai编译环境准备与更新》,并按照其相关的操作,进行编译环境的部署。
在PC端Ubuntu系统中执行run脚本,进入EASY-EAI编译环境,具体如下所示。
cd ~/develop_environment
./run.sh 2204

2.1.3 板卡依赖库安装
通过串口调试或ssh调试,进入板卡后台。由于本跟踪算法依赖libeigen3-dev库,所以需要在板卡提前进行安装:
sudo apt-get update
sudo apt-get install libeigen3-dev

2.2 源码下载以及例程编译
下载yolo11_track C Demo示例文件。
百度网盘链接: https://pan.baidu.com/s/1X3Y6StZzMnRczwuzfM4XXw?pwd=1234(提取码: 1234)。
下载程序包移至ubuntu环境后,执行以下指令解压:
tar -xvf yolov11_track_C_demo.tar.bz2
下载解压后如下图所示:

在EASY-EAI 编译环境下,进入到对应的例程目录执行编译操作,具体命令如下所示:
cd /opt/nfsroot/rknn-src/RV1126B/yolov11_track_C_demo
./build.sh

同时,把可执行程序目录yolov11_track_demo_release*/* 复制到开发板*/userdata*目录上:
cp yolov11_track_demo_release/ /mnt/userdata/ -rf

2.3 开发板执行yolov11跟踪算法
通过串口调试或ssh调试,进入板卡后台,定位到例程部署的位置,如下所示:
cd /userdata/yolov11_track_demo_release/

运行例程命令如下所示:
chmod 777 yolov11_track_demo
sudo ./yolov11_track_demo yolov11s_rv1126b.rknn test.mp4
执行结果如下图所示,yolo11s运行耗时48ms左右,Bytetrack耗时6.8ms左右:

在EASY-EAI编译环境,可以取回跟踪结果视频:
cp /mnt/userdata/yolov11_track_demo_release/output.avi .

测试结果如下图所示:

至此,yolov11_track目标跟踪例程已成功在板卡运行。
3. 资料下载
