一、多目标跟踪的定义
多目标跟踪的主要任务是:
在给定视频中同时对多个感兴趣的目标进行定位,并且维持他们的ID、记录他们的轨迹。
TBD(Tracking-by-Detection)策略:先检测,后跟踪
- 图像帧的目标在哪里?---目标检测
- 两帧图像中的目标怎么确定是同一个目标?---数据关联
二、多目标跟踪的流程
1、给定视频的原始帧;
2、运行对象检测器以获得对象的边界框;
3、对于每个检测到的物体,计算出不同的特征,通常是视觉和运动特征;
4、通过相似度计算两个对象属于同一目标的概率;
5、关联步骤,为每个对象分配数字ID。
三、Sort
四个核心步骤:
- 1、获取目标检测框,(检测器:Faster R-CNN,YOLO);
- 2、卡尔曼滤波器预测当前位置,获得预测框;
- 3、进行相似度计算,计算前一帧和当前帧目标之间的匹配程度(只考虑运动信息);
- 4、通过匈牙利算法进行数据关联,为每个对象分配目标的ID
以"每个检测框"与"现有目标的所有预测框"之间的IOU作为前后帧之间目标关系的度量指标。
四、DeepSort

部分引用https://guo-pu.blog.csdn.net/article/details/122827312
五、基于DeepSort改进的多目标跟踪算法
针对标牌:
增加长宽比,类别约束,用标牌后分类模型提取特征
后续也有新的跟踪算法,比如BoT-SORT等。
六、MOT的衡量指标
主要从"准确性"(有没有跟对,跟得准不准)和"稳定性"(身份是否保持连贯)两个核心维度进行评估。
MOTA是最传统,最受关注的综合指标,它从错误的角度出发,简化为:
MOTA = 1 - (FN + FP + IDs) / 真实目标总数
因为它同时惩罚了检测错误(FN,FP)和跟踪错误(IDs),这三者分别代表漏报,误报和身份切换