【CVPR】3D Object Detection with Geometry-Aware Diffusion Features

论文地址:https://openaccess.thecvf.com/content/CVPR2024/papers/Xu_3DiffTection_3D_Object_Detection_with_Geometry-Aware_Diffusion_Features_CVPR_2024_paper.pdf

1、效果

其实验结果(如大幅超越Cube-RCNN)也验证了这套方法的有效性。

2、主要贡献

通过视图合成增强具有3D感知的预训练2D扩散模型;将这些特征应用于3D检测任务和目标领域;进一步提高检测性能。

3、摘要

3DIFFTECTION是一个"先赋予几何感知,再进行检测微调"​ 的两阶段框架。它巧妙地利用无需3D标注的图片(如视频帧)​ 来教会一个扩散模型"理解3D几何",然后将这个拥有了3D"大脑"的模型变成一个强大的3D目标检测器。

4、思路

4.1 ControlNet

展示的 "Geometric ControlNet with Epipolar warp Operator"​ 正是其第一阶段(几何调优)的核心技术实现

具体来说:

几何调优(对应图中的架构):

目标:不是为了生成漂亮的图片,而是为了让扩散模型的特征具备3D感知能力。

方法:在Stable Diffusion的编码器上,附加一个可训练的Geometric ControlNet(如图中橙色部分所示)。它接收一张条件图片​ 和目标相机位姿。

关键操作:通过极线扭曲算子,将条件图片的特征,根据两张图片之间的相机几何关系(极线几何),"扭曲"到目标视角。这个过程强制模型学习如何根据一张图推理另一视角下的场景内容,本质上是在学习3D结构。

优势:这个训练只需要有相机位姿的图片对(如视频帧),完全不需要3D框或点云标注,解决了数据标注瓶颈。

4.2 语义调优

目标:将已经具备3D感知能力的模型特征,适配到具体的3D目标检测任务上。

方法:在几何调优后的模型基础上,使用带有3D检测标注的目标数据集​ 进行进一步训练。这里依然采用ControlNet架构,以保护并利用第一阶段学到的强大几何特征。

测试时集成:

推理策略:在最终检测时,模型不仅看输入的那一张图,还会在多个虚拟视角​ 上进行特征预测和集成。这相当于让模型"环视"这个物体,做出更准确的3D判断,充分释放了其3D感知能力的优势。

非常有趣的论文,很创新!

相关推荐
微尘hjx2 小时前
【ByteTrack 04】多轨迹算法ByteTrack改进点
算法·yolo·目标检测·目标跟踪·bytetrack·ultralytics·车跟踪
云和数据.ChenGuang2 小时前
Python 重写(Override)深度解析:从 MRO 到 super() 的完整机制
java·开发语言·人工智能·python·langchain·1024程序员节
西西木科技丨Shopify开发机构3 小时前
CalDigit TS4案例:AI产品图的Shopify整站接入与验收
人工智能·shopify·独立站
2601_965448873 小时前
AI视频制作:做系列节气民俗视频音色不统一,AI 音色克隆省事的方法
人工智能·机器学习·音视频
美狐美颜SDK开放平台3 小时前
视频美颜SDK试用DEMO阶段应该测试什么?直播APP接入实操指南
开发语言·人工智能·深度学习·音视频·美颜sdk·直播美颜sdk·第三方美颜sdk
HRaitest3 小时前
秋招技术岗招聘提效:三类 AI 招聘方案的技术底层与选型逻辑
大数据·人工智能·求职招聘·ai-native
天远数科4 小时前
零信任架构实战:基于天远企业股权变更构建自动化商业银行对公授信存续期股权异动与资产抽逃预警网关
运维·人工智能·架构·自动化
车软学堂4 小时前
从测试转开发,到底要补什么
网络·人工智能·python·功能测试·单片机·车载系统·自动化
海盗12344 小时前
AI 新闻日报 10-28:Atria Dawn 完整版开源、Cursor Agent SDK 转正、Genie 4 实时世界模型
人工智能·机器人·开源·人工智能aigc
志尊宝5 小时前
AI原生前端开发(035):AI时代的工程化最佳实践总结
人工智能·ai-native