3D 生成重建019-LERF用文本在Nerf中开启上帝之眼

3D 生成重建019-LERF用文本在Nerf中开启上帝之眼


文章目录

    • [0 论文工作](#0 论文工作)
    • [1 论文方法](#1 论文方法)
    • [2 实验结果](#2 实验结果)

0 论文工作

人类利用自然语言描述物理世界,根据各种特性(视觉外观、语义、抽象关联)寻找具体的3D位置。在这项工作中,作者提出了语言嵌入辐射场(LERF),这是一种将来自现成模型(如CLIP)的语言嵌入整合到NeRF中的方法,从而能够在三维空间中进行这种类型的开放式语言查询。LERF通过沿训练光线进行体渲染CLIP嵌入,从而在NeRF内部学习一个密集的多尺度语言场,并通过在训练视图中监督这些嵌入来提供多视图一致性,并使底层语言场平滑化。优化后,LERF能够实时交互式地提取各种语言提示的3D相关性图,这在机器人技术、理解视觉语言模型和与3D场景交互方面具有潜在的应用案例。LERF支持像素对齐的零样本查询,无需区域建议或掩码,能够分层地处理长尾开放词汇查询。
LanSplat整体上是将这个论文的思想迁移到3DGS上,在这个过程中去解决一些新的问题。clip 当时出了,Sam应该还没发表。基础模型的进步显著促进了应用研究的进步。
paper
github

1 论文方法

因为nerf是像素级别的渲染,所以对齐的时候和边界这些需要做更多的考虑。论文使用多尺度的信息,当然这个和CLIP主要关注相似度有关系。SAM之后语音的定位可以更加准确了。因为nerf采用的是神经网络架构,跟图形渲染管道无关,在这个特征的维度上不需要额外的考虑。通过增加新的分支从CLIP中蒸馏信息就可以。

RF 的主要创新之处在于:

将CLIP语言嵌入融入NeRF: 这是LERF的核心创新。它直接将预训练的CLIP模型的输出嵌入到NeRF中,无需对CLIP进行微调或依赖于特定数据集,扩展了NeRF的应用范围,使其能够理解和响应自然语言。以往方法通常需要依赖于人工标注的数据集或其他的图像特征提取方法。

多尺度语言场: LERF 学习一个多尺度的语言场,这使得它能够处理不同粒度级别的语义信息。例如,它可以同时识别"杯子"和"杯子里的水",而不需要依赖于人为定义的物体尺度或层次结构。

像素级对齐的零样本查询: LERF实现了像素级对齐的零样本查询,这意味着它能够直接根据自然语言查询在三维场景中定位和分割物体,而无需依赖于目标检测或分割等中间步骤。

高效的实时查询: 经过训练后,LERF能够实时地生成三维场景中物体的相关性图,这对于机器人导航、虚拟现实等实时交互应用具有重要意义。

总的来说,LERF通过将强大的自然语言处理能力与NeRF模型结合,实现了对三维场景的开放词汇查询,在效率和精度方面都取得了显著的提升。其创新之处在于其方法的简洁性和高效性,以及其在处理开放词汇查询方面的出色表现。

2 实验结果

相关推荐
深蓝易网1 分钟前
为什么制造企业需要用MES管理系统升级改造车间
大数据·运维·人工智能·制造·devops
xiangzhihong89 分钟前
Amodal3R ,南洋理工推出的 3D 生成模型
人工智能·深度学习·计算机视觉
狂奔solar23 分钟前
diffusion-vas 提升遮挡区域的分割精度
人工智能·深度学习
资源大全免费分享36 分钟前
MacOS 的 AI Agent 新星,本地沙盒驱动,解锁 macOS 操作新体验!
人工智能·macos·策略模式
跳跳糖炒酸奶1 小时前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
AI.NET 极客圈1 小时前
AI与.NET技术实操系列(四):使用 Semantic Kernel 和 DeepSeek 构建AI应用
人工智能·.net
Debroon1 小时前
应华为 AI 医疗军团之战,各方动态和反应
人工智能·华为
俊哥V1 小时前
阿里通义千问发布全模态开源大模型Qwen2.5-Omni-7B
人工智能·ai
果冻人工智能1 小时前
每一条广告都只为你而生: 用 人工智能 颠覆广告行业的下一步
人工智能
掘金安东尼1 小时前
GPT-4.5 被 73% 的人误认为人类,“坏了?!我成替身了!”
人工智能·程序员