RockTrack:A 3D Robust Multi-Camera-Ken Multi-Object Tracking Framework

RockTrack: A 3D Robust Multi-Camera-Ken Multi-Object Tracking Framework

基础信息

  1. 单位:哈尔滨理工大学
  2. 论文:https://arxiv.org/pdf/2409.11749
  3. 代码:https://github.com/lixiaoyu2000/Rock-Track (未全部放出)
  4. 数据集:nuScenes

摘要

  1. 随着检测技术的提高,多目标跟踪算法快速发展,特别是经济实惠的多相机跟踪。
  2. 现有的多相机端到端跟踪技术,由于训练的原因,导致局限于单一的检测器,导致灵活性降低了。
  3. 此外,目前的通用跟踪器忽略了多摄像机检测器的特性,比如:运动观测的不可靠性和视觉信息的可行性。
  4. 为了解决这些挑战,本文提出了RockTrack,一种用于多相机检测器的3D MOT方法。
  5. 遵循TBD框架,RockTrack与各种现成的探测器兼容。
  6. RockTrack包含了一个置信引导的预处理模块,从单个探测器的不同表示空间中提取可靠的运动和图像观测结果。
  7. 然后将这些观察结果融合在一个关联模块中,该模块利用几何和外观线索来减少不匹配。
  8. 得到的匹配通过分阶段估计过程传播,形成启发式噪声建模的基础。
  9. 此外,我们引入了一种新的外观相似度量,明确地描述对象亲和力在多相机设置。
    10.RockTrack在59.1%的AMOTA的视觉跟踪排行榜上取得了最先进的性能,同时展示了令人印象深刻的计算效率。

引言

contributions

  1. 我们提出了RockTrack,一种基于TBD框架的鲁棒和灵活的3D MOT方法,专门为多视图探测器设计。

  2. 我们引入了一种新的多视图外观相似度度量来明确地捕获对象间的亲和力(affinity)

  3. 我们开发了一个可扩展的几何滤波器和适应运动测量噪声,以提高空间可靠性在多相机探测器。我们还提出了一种伪视觉跟踪器滤波器,并实现了多模态匹配,以有效地利用视觉信息。

  4. RockTrack建立了一个新的最先进的,59.1%的AMOTA在仅相机test排行榜(多镜头跟踪)。

相关工作

Camera-only 3D Detection.

Camera-only 3D MOT.

方法

A. Confidence-Guided Pre-Processing Module

B. Motion-Appearance Data Association Module

C. Noise-Adaptive Motion Module

D. Lifecycle Module

实验

阅读时间(2024年9月19日)
相关推荐
starsongda7 小时前
科技成果跃然“屏”上,虚拟展厅引领科技展示新风尚
科技·3d·虚拟现实
梦想的理由9 小时前
3D人体建模的前沿探索(二):深入解析SMPL-IK与多视角人体网格重建
3d
道可云13 小时前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
Sitarrrr15 小时前
【Unity】ScriptableObject的应用和3D物体跟随鼠标移动:鼠标放置物体在场景中
3d·unity
starsongda1 天前
VR科技展厅重塑科技展示新风貌,引领未来展示潮流
科技·3d·vr
兔老大的胡萝卜1 天前
threejs 数字孪生,制作3d炫酷网页
前端·3d
CV-X.WANG1 天前
【详细 工程向】基于Smart3D的五镜头相机三维重建
数码相机·3d
JoeyKo2 天前
国内版Sketchfab平台 - CG美术之家(3D编辑发布篇)
3d·3d建模·3dsmax·3d渲染·模型·3d模型·cg模型
mirrornan2 天前
3D互动+AR试戴,重塑线上珠宝营销新体验!
3d·ar
DisonTangor2 天前
腾讯混元3D-1.0:文本到三维和图像到三维生成的统一框架
人工智能·3d·aigc