RockTrack:A 3D Robust Multi-Camera-Ken Multi-Object Tracking Framework

RockTrack: A 3D Robust Multi-Camera-Ken Multi-Object Tracking Framework

基础信息

  1. 单位:哈尔滨理工大学
  2. 论文:https://arxiv.org/pdf/2409.11749
  3. 代码:https://github.com/lixiaoyu2000/Rock-Track (未全部放出)
  4. 数据集:nuScenes

摘要

  1. 随着检测技术的提高,多目标跟踪算法快速发展,特别是经济实惠的多相机跟踪。
  2. 现有的多相机端到端跟踪技术,由于训练的原因,导致局限于单一的检测器,导致灵活性降低了。
  3. 此外,目前的通用跟踪器忽略了多摄像机检测器的特性,比如:运动观测的不可靠性和视觉信息的可行性。
  4. 为了解决这些挑战,本文提出了RockTrack,一种用于多相机检测器的3D MOT方法。
  5. 遵循TBD框架,RockTrack与各种现成的探测器兼容。
  6. RockTrack包含了一个置信引导的预处理模块,从单个探测器的不同表示空间中提取可靠的运动和图像观测结果。
  7. 然后将这些观察结果融合在一个关联模块中,该模块利用几何和外观线索来减少不匹配。
  8. 得到的匹配通过分阶段估计过程传播,形成启发式噪声建模的基础。
  9. 此外,我们引入了一种新的外观相似度量,明确地描述对象亲和力在多相机设置。
    10.RockTrack在59.1%的AMOTA的视觉跟踪排行榜上取得了最先进的性能,同时展示了令人印象深刻的计算效率。

引言

contributions

  1. 我们提出了RockTrack,一种基于TBD框架的鲁棒和灵活的3D MOT方法,专门为多视图探测器设计。

  2. 我们引入了一种新的多视图外观相似度度量来明确地捕获对象间的亲和力(affinity)

  3. 我们开发了一个可扩展的几何滤波器和适应运动测量噪声,以提高空间可靠性在多相机探测器。我们还提出了一种伪视觉跟踪器滤波器,并实现了多模态匹配,以有效地利用视觉信息。

  4. RockTrack建立了一个新的最先进的,59.1%的AMOTA在仅相机test排行榜(多镜头跟踪)。

相关工作

Camera-only 3D Detection.

Camera-only 3D MOT.

方法

A. Confidence-Guided Pre-Processing Module

B. Motion-Appearance Data Association Module

C. Noise-Adaptive Motion Module

D. Lifecycle Module

实验

阅读时间(2024年9月19日)
相关推荐
前端Hardy1 天前
HTML&CSS:数据卡片可以这样设计
前端·javascript·css·3d·html
小彭努力中1 天前
138. CSS3DRenderer渲染HTML标签
前端·深度学习·3d·webgl·three.js
AI生成未来1 天前
斯坦福&UC伯克利开源突破性视觉场景生成与编辑技术,精准描绘3D/4D世界!
3d·3d场景·4d
汪洪墩2 天前
【Mars3d】实现这个地图能靠左,不居中的样式效果
前端·javascript·vue.js·3d·webgl·cesium
Bearnaise2 天前
GaussianDreamer: Fast Generation from Text to 3D Gaussians——点云论文阅读(11)
论文阅读·人工智能·python·深度学习·opencv·计算机视觉·3d
智驾机器人技术前线2 天前
近期两篇NeRF/3DGS-based SLAM方案赏析:TS-SLAM and MBA-SLAM
3d·slam·nerf·3dgs
Tianwen_Burning2 天前
halcon3d disparity_image_to_xyz非常重要的算子及使用条件
算法·3d
光学测量小菜鸡3 天前
OpenCV双目立体视觉重建
opencv·3d·双目相机·结构光·sgbm
豆包MarsCode3 天前
基于豆包MarsCode 和 Threejs 实现3D地图可视化
大数据·开发语言·人工智能·python·3d·程序员
工业3D_大熊3 天前
3D数据格式转换工具HOOPS Exchange如何在读取CAD文件时处理镶嵌数据?
java·linux·c++·windows·macos·3d·c#