CVPR 2024 3D传感框架实现无监督场景理解新纪元

关注gongzhonghao【CVPR顶会精选】

CVPR聚焦的3D传感技术正成为计算机视觉领域的核心突破点,其通过激光雷达、结构光等多模态感知手段,实现对物理世界的三维精确建模,为自动驾驶、工业检测等场景提供关键空间信息。

今天小图为大家精选3篇CVPR有关3D传感技术的论文,请注意查收!

论文一:HUNTER: Unsupervised Human-centric 3D Detection via Transferring Knowledge from Synthetic Instances to Real Scenes

方法:

文章首先通过将合成人类模型插入到3D场景中,并利用范围视图投影将网格表示转换为激光雷达点云,从而生成伪标签。接着,通过双向多目标跟踪算法筛选高质量伪标签,并进行特征对齐,以增强模型对真实人类的泛化能力。最后,利用人体骨骼结构作为监督信号,进一步提升模型对细节特征的学习能力。

创新点:

  • 首次提出了一种无监督的人类中心3D检测方法,这对于推动机器人在真实场景中的应用具有重要意义。

  • 设计了从合成人类模型到真实场景的知识转移方法,有效解决了合成数据与真实数据在表示和特征分布上的差异。

  • 方法在公开数据集上达到了接近全监督方法的性能,显著优于当前的无监督方法。

论文链接:

https://arxiv.org/pdf/2403.02769

论文二:MiKASA: Multi-Key-Anchor & Scene-Aware Transformer for 3D Visual Grounding

方法:

文章首先通过场景感知对象编码器处理点云数据,生成考虑周围对象信息的对象特征,然后利用多关键锚点技术重新定义坐标,增强对空间关系的理解。接着,通过文本-空间融合模块将文本信息与空间特征相结合,最后通过融合模块将对象特征、空间特征和文本特征进行综合处理,生成最终的预测结果。

创新点:

  • 提出了MiKASA Transformer,这是一种新颖的端到端训练模型,通过整合基于自注意力的场景感知对象编码器和多关键锚点技术,提高了对象识别的准确性和对空间关系的理解。

  • 引入了一种新的架构,采用双预测框架进行3D视觉定位,分别生成目标类别得分和空间得分,通过策略性融合机制提高目标识别的准确性和可解释性。

  • 在数据增强方面,采用了多视图增强和颜色特征增强等技术,有效提高了模型对3D点云数据的泛化能力和抗过拟合能力。

论文链接:

https://arxiv.org/pdf/2403.03077

论文三:HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting

方法:

文章首先利用SMPL-X网格初始化3D高斯分布的位置,然后通过扩展预训练的Stable Diffusion模型,同时对图像的RGB和深度进行去噪,作为分数蒸馏采样的源模型。接着,通过双分支分数蒸馏采样,从RGB和深度空间联合优化3D高斯分布的密度。最后,在退火负提示引导下,通过高斯尺寸阈值去除小尺寸高斯分布,以消除漂浮伪影,从而实现高效的3D人类生成。

创新点:

  • 提出了结构感知的分数蒸馏采样,能够同时优化人类外观和几何结构。

  • 设计了退火负提示引导,通过分解分数蒸馏采样,解决了过饱和问题,提高了生成结果的真实性。

  • 基于高斯尺寸的剪枝策略,在剪枝阶段消除漂浮伪影,增强了生成的平滑度。

论文链接:

https://arxiv.org/pdf/2311.17061

选题是论文的第一步,非常重要!

但很多学生找到了热门的选题,却卡在代码和写作上!可见论文要录用,选题-idea-代码-写作都缺一不可!

图灵学术论文辅导,汇聚经验丰富的实战派导师团队,针对计算机各类领域提供1v1专业指导,直至论文录用 !每天2个免费咨询名额,机会有限先到先得。

本文选自gonzhonghao【CVPR顶会精选】

相关推荐
腾讯云开发者20 分钟前
港科大熊辉|AI时代的职场新坐标——为什么你应该去“数据稀疏“的地方?
人工智能
工程师老罗24 分钟前
YoloV1数据集格式转换,VOC XML→YOLOv1张量
xml·人工智能·yolo
Coder_Boy_1 小时前
技术让开发更轻松的底层矛盾
java·大数据·数据库·人工智能·深度学习
啊森要自信1 小时前
CANN ops-cv:面向计算机视觉的 AI 硬件端高效算子库核心架构与开发逻辑
人工智能·计算机视觉·架构·cann
2401_836235861 小时前
中安未来SDK15:以AI之眼,解锁企业档案的数字化基因
人工智能·科技·深度学习·ocr·生活
njsgcs1 小时前
llm使用 AgentScope-Tuner 通过 RL 训练 FrozenLake 智能体
人工智能·深度学习
董董灿是个攻城狮1 小时前
AI 视觉连载2:灰度图
人工智能
yunfuuwqi2 小时前
OpenClaw✅真·喂饭级教程:2026年OpenClaw(原Moltbot)一键部署+接入飞书最佳实践
运维·服务器·网络·人工智能·飞书·京东云
九河云2 小时前
5秒开服,你的应用部署还卡在“加载中”吗?
大数据·人工智能·安全·机器学习·华为云