CVPR 2024 3D传感框架实现无监督场景理解新纪元

关注gongzhonghao【CVPR顶会精选】

CVPR聚焦的3D传感技术正成为计算机视觉领域的核心突破点,其通过激光雷达、结构光等多模态感知手段,实现对物理世界的三维精确建模,为自动驾驶、工业检测等场景提供关键空间信息。

今天小图为大家精选3篇CVPR有关3D传感技术的论文,请注意查收!

论文一:HUNTER: Unsupervised Human-centric 3D Detection via Transferring Knowledge from Synthetic Instances to Real Scenes

方法:

文章首先通过将合成人类模型插入到3D场景中,并利用范围视图投影将网格表示转换为激光雷达点云,从而生成伪标签。接着,通过双向多目标跟踪算法筛选高质量伪标签,并进行特征对齐,以增强模型对真实人类的泛化能力。最后,利用人体骨骼结构作为监督信号,进一步提升模型对细节特征的学习能力。

创新点:

  • 首次提出了一种无监督的人类中心3D检测方法,这对于推动机器人在真实场景中的应用具有重要意义。

  • 设计了从合成人类模型到真实场景的知识转移方法,有效解决了合成数据与真实数据在表示和特征分布上的差异。

  • 方法在公开数据集上达到了接近全监督方法的性能,显著优于当前的无监督方法。

论文链接:

https://arxiv.org/pdf/2403.02769

论文二:MiKASA: Multi-Key-Anchor & Scene-Aware Transformer for 3D Visual Grounding

方法:

文章首先通过场景感知对象编码器处理点云数据,生成考虑周围对象信息的对象特征,然后利用多关键锚点技术重新定义坐标,增强对空间关系的理解。接着,通过文本-空间融合模块将文本信息与空间特征相结合,最后通过融合模块将对象特征、空间特征和文本特征进行综合处理,生成最终的预测结果。

创新点:

  • 提出了MiKASA Transformer,这是一种新颖的端到端训练模型,通过整合基于自注意力的场景感知对象编码器和多关键锚点技术,提高了对象识别的准确性和对空间关系的理解。

  • 引入了一种新的架构,采用双预测框架进行3D视觉定位,分别生成目标类别得分和空间得分,通过策略性融合机制提高目标识别的准确性和可解释性。

  • 在数据增强方面,采用了多视图增强和颜色特征增强等技术,有效提高了模型对3D点云数据的泛化能力和抗过拟合能力。

论文链接:

https://arxiv.org/pdf/2403.03077

论文三:HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting

方法:

文章首先利用SMPL-X网格初始化3D高斯分布的位置,然后通过扩展预训练的Stable Diffusion模型,同时对图像的RGB和深度进行去噪,作为分数蒸馏采样的源模型。接着,通过双分支分数蒸馏采样,从RGB和深度空间联合优化3D高斯分布的密度。最后,在退火负提示引导下,通过高斯尺寸阈值去除小尺寸高斯分布,以消除漂浮伪影,从而实现高效的3D人类生成。

创新点:

  • 提出了结构感知的分数蒸馏采样,能够同时优化人类外观和几何结构。

  • 设计了退火负提示引导,通过分解分数蒸馏采样,解决了过饱和问题,提高了生成结果的真实性。

  • 基于高斯尺寸的剪枝策略,在剪枝阶段消除漂浮伪影,增强了生成的平滑度。

论文链接:

https://arxiv.org/pdf/2311.17061

选题是论文的第一步,非常重要!

但很多学生找到了热门的选题,却卡在代码和写作上!可见论文要录用,选题-idea-代码-写作都缺一不可!

图灵学术论文辅导,汇聚经验丰富的实战派导师团队,针对计算机各类领域提供1v1专业指导,直至论文录用 !每天2个免费咨询名额,机会有限先到先得。

本文选自gonzhonghao【CVPR顶会精选】

相关推荐
管牛牛2 分钟前
图像的卷积操作
人工智能·深度学习·计算机视觉
云卓SKYDROID26 分钟前
无人机航线辅助模块技术解析
人工智能·无人机·高科技·云卓科技
琅琊榜首20201 小时前
AI生成脑洞付费短篇小说:从灵感触发到内容落地
大数据·人工智能
imbackneverdie1 小时前
近年来,我一直在用的科研工具
人工智能·自然语言处理·aigc·论文·ai写作·学术·ai工具
roman_日积跬步-终至千里2 小时前
【计算机视觉-作业1】从图像到向量:kNN数据预处理完整流程
人工智能·计算机视觉
春日见2 小时前
自动驾驶规划控制决策知识点扫盲
linux·运维·服务器·人工智能·机器学习·自动驾驶
人工智能AI技术2 小时前
【Agent从入门到实践】43 接口封装:将Agent封装为API服务,供其他系统调用
人工智能·python
hjs_deeplearning2 小时前
文献阅读篇#14:自动驾驶中的基础模型:场景生成与场景分析综述(5)
人工智能·机器学习·自动驾驶
nju_spy2 小时前
离线强化学习(一)BCQ 批量限制 Q-learning
人工智能·强化学习·cvae·离线强化学习·双 q 学习·bcq·外推泛化误差