CVPR 2024 3D传感框架实现无监督场景理解新纪元

关注gongzhonghao【CVPR顶会精选】

CVPR聚焦的3D传感技术正成为计算机视觉领域的核心突破点,其通过激光雷达、结构光等多模态感知手段,实现对物理世界的三维精确建模,为自动驾驶、工业检测等场景提供关键空间信息。

今天小图为大家精选3篇CVPR有关3D传感技术的论文,请注意查收!

论文一:HUNTER: Unsupervised Human-centric 3D Detection via Transferring Knowledge from Synthetic Instances to Real Scenes

方法:

文章首先通过将合成人类模型插入到3D场景中,并利用范围视图投影将网格表示转换为激光雷达点云,从而生成伪标签。接着,通过双向多目标跟踪算法筛选高质量伪标签,并进行特征对齐,以增强模型对真实人类的泛化能力。最后,利用人体骨骼结构作为监督信号,进一步提升模型对细节特征的学习能力。

创新点:

  • 首次提出了一种无监督的人类中心3D检测方法,这对于推动机器人在真实场景中的应用具有重要意义。

  • 设计了从合成人类模型到真实场景的知识转移方法,有效解决了合成数据与真实数据在表示和特征分布上的差异。

  • 方法在公开数据集上达到了接近全监督方法的性能,显著优于当前的无监督方法。

论文链接:

https://arxiv.org/pdf/2403.02769

论文二:MiKASA: Multi-Key-Anchor & Scene-Aware Transformer for 3D Visual Grounding

方法:

文章首先通过场景感知对象编码器处理点云数据,生成考虑周围对象信息的对象特征,然后利用多关键锚点技术重新定义坐标,增强对空间关系的理解。接着,通过文本-空间融合模块将文本信息与空间特征相结合,最后通过融合模块将对象特征、空间特征和文本特征进行综合处理,生成最终的预测结果。

创新点:

  • 提出了MiKASA Transformer,这是一种新颖的端到端训练模型,通过整合基于自注意力的场景感知对象编码器和多关键锚点技术,提高了对象识别的准确性和对空间关系的理解。

  • 引入了一种新的架构,采用双预测框架进行3D视觉定位,分别生成目标类别得分和空间得分,通过策略性融合机制提高目标识别的准确性和可解释性。

  • 在数据增强方面,采用了多视图增强和颜色特征增强等技术,有效提高了模型对3D点云数据的泛化能力和抗过拟合能力。

论文链接:

https://arxiv.org/pdf/2403.03077

论文三:HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting

方法:

文章首先利用SMPL-X网格初始化3D高斯分布的位置,然后通过扩展预训练的Stable Diffusion模型,同时对图像的RGB和深度进行去噪,作为分数蒸馏采样的源模型。接着,通过双分支分数蒸馏采样,从RGB和深度空间联合优化3D高斯分布的密度。最后,在退火负提示引导下,通过高斯尺寸阈值去除小尺寸高斯分布,以消除漂浮伪影,从而实现高效的3D人类生成。

创新点:

  • 提出了结构感知的分数蒸馏采样,能够同时优化人类外观和几何结构。

  • 设计了退火负提示引导,通过分解分数蒸馏采样,解决了过饱和问题,提高了生成结果的真实性。

  • 基于高斯尺寸的剪枝策略,在剪枝阶段消除漂浮伪影,增强了生成的平滑度。

论文链接:

https://arxiv.org/pdf/2311.17061

选题是论文的第一步,非常重要!

但很多学生找到了热门的选题,却卡在代码和写作上!可见论文要录用,选题-idea-代码-写作都缺一不可!

图灵学术论文辅导,汇聚经验丰富的实战派导师团队,针对计算机各类领域提供1v1专业指导,直至论文录用 !每天2个免费咨询名额,机会有限先到先得。

本文选自gonzhonghao【CVPR顶会精选】

相关推荐
leoZ2318 小时前
本地跑大模型实战(七):llama.cpp 性能调优,让推理更快更省
java·人工智能·spring·生成对抗网络·语言模型·自然语言处理·llama
To_OC8 小时前
我把《天龙八部》塞进向量数据库后,终于搞懂了 RAG 到底是个啥
人工智能·llm·agent
蜡台8 小时前
AI Agent(智能体)入门基础教程
人工智能
Akir.weiwen9 小时前
Token 层差异:从颜色值到语义状态的三层跃迁
人工智能·设计规范
迷迭香yy9 小时前
集合竞价数据挖掘实战:用Python构建开盘信号识别系统
人工智能·python·数据挖掘
大模型momo9 小时前
Spring AI 实战:多 Agent 协作实战 —— 分工拆解复杂旅游行程任务
人工智能·spring·ai·agent·旅游
小程故事多_8010 小时前
从A2C、TRPO、PPO到GRPO,强化学习策略梯度算法完整演进与大模型落地实战解析
人工智能·算法
冬奇Lab10 小时前
开源项目第176期:Better Harness — 不审查 diff,审查工作流本身,给 AI 编程 Agent 的五维评估框架
人工智能·开源·agent
冬奇Lab10 小时前
代码库知识库系列(07):混合检索 BM25 + 向量——Q8 还是失败,而且总分退步了
人工智能
ajassi200010 小时前
AI语音智能体开发日记(十一)为智能设备“声”临其境——详解音频资源自动化生成流程
人工智能·ai·ai编程