RockTrack:A 3D Robust Multi-Camera-Ken Multi-Object Tracking Framework

RockTrack: A 3D Robust Multi-Camera-Ken Multi-Object Tracking Framework

基础信息

  1. 单位:哈尔滨理工大学
  2. 论文:https://arxiv.org/pdf/2409.11749
  3. 代码:https://github.com/lixiaoyu2000/Rock-Track (未全部放出)
  4. 数据集:nuScenes

摘要

  1. 随着检测技术的提高,多目标跟踪算法快速发展,特别是经济实惠的多相机跟踪。
  2. 现有的多相机端到端跟踪技术,由于训练的原因,导致局限于单一的检测器,导致灵活性降低了。
  3. 此外,目前的通用跟踪器忽略了多摄像机检测器的特性,比如:运动观测的不可靠性和视觉信息的可行性。
  4. 为了解决这些挑战,本文提出了RockTrack,一种用于多相机检测器的3D MOT方法。
  5. 遵循TBD框架,RockTrack与各种现成的探测器兼容。
  6. RockTrack包含了一个置信引导的预处理模块,从单个探测器的不同表示空间中提取可靠的运动和图像观测结果。
  7. 然后将这些观察结果融合在一个关联模块中,该模块利用几何和外观线索来减少不匹配。
  8. 得到的匹配通过分阶段估计过程传播,形成启发式噪声建模的基础。
  9. 此外,我们引入了一种新的外观相似度量,明确地描述对象亲和力在多相机设置。
    10.RockTrack在59.1%的AMOTA的视觉跟踪排行榜上取得了最先进的性能,同时展示了令人印象深刻的计算效率。

引言

contributions

  1. 我们提出了RockTrack,一种基于TBD框架的鲁棒和灵活的3D MOT方法,专门为多视图探测器设计。

  2. 我们引入了一种新的多视图外观相似度度量来明确地捕获对象间的亲和力(affinity)

  3. 我们开发了一个可扩展的几何滤波器和适应运动测量噪声,以提高空间可靠性在多相机探测器。我们还提出了一种伪视觉跟踪器滤波器,并实现了多模态匹配,以有效地利用视觉信息。

  4. RockTrack建立了一个新的最先进的,59.1%的AMOTA在仅相机test排行榜(多镜头跟踪)。

相关工作

Camera-only 3D Detection.

Camera-only 3D MOT.

方法

A. Confidence-Guided Pre-Processing Module

B. Motion-Appearance Data Association Module

C. Noise-Adaptive Motion Module

D. Lifecycle Module

实验

阅读时间(2024年9月19日)
相关推荐
feasibility.4 天前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
Solange__7 天前
Blender 3D模型优化:普通复制、共享网格、实例、合并怎么选?
人工智能·3d·ai·自然语言处理·编辑器·blender·材质
Martina_03218 天前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
时间的情敌10 天前
Cesium 建筑单体化、3DTiles 分类、楼层显隐、分户高亮(BIM + 倾斜孪生高频)
前端·3d·cesium
加搜科技观察11 天前
哪个品牌 3D 相机好用?工业 3D 相机品牌选型评估指南
数码相机·3d
Martina_032112 天前
AI生成3D场景的霓虹灯一开就糊成光团?用6步检查Emissive、Bloom与曝光
人工智能·3d·ai·自然语言处理·游戏引擎·材质·贴图
Martina_032113 天前
AI生成3D场景从白模换成精模后镜头全偏了?用6步检查单位、枢轴与层级替换
图像处理·人工智能·3d·ai·自然语言处理·材质·1024程序员节
时间的情敌14 天前
Cesium 加载 3D Tiles 倾斜摄影、压平、样式设置(Vue3 实战)
vue.js·3d·cesium
AGI_Eval16 天前
AI 3D生成技术:从“可用”走向“可靠”还有多远?
人工智能·3d