Intent3D

1. 研究背景

在现实世界中,人们寻找 3D 物体的行为往往基于特定意图,例如"我想要一个可以支撑我背部的东西"(即寻找枕头)。传统 3D 视觉定位(3D-VG)主要依赖人工提供的参照信息 (如"沙发上的枕头")。但该论文提出的3D 意图定位( 3D-IG)旨在让 AI 自动推理并检测目标物体,而无需用户明确指明物体的类别或位置


2. 主要贡献

(1) 新任务------3D-IG

  • 任务目标:给定 3D 场景(点云)和自由形式的意图文本,AI 模型需自动推理检测符合该意图的目标对象。
  • 该任务比 3D 视觉定位更具挑战性,因为它不依赖显式的物体类别或空间参照

(2) 新数据集------Intent3D

  • ScanNet 数据集 (Dai et al., 2017)中提取 1,042 个 3D 场景,构建 Intent3D 数据集。
  • 包含 44,990 条人类意图文本,涉及 209 个细粒度类别的物体。
  • 通过 GPT-4 生成意图文本,并进行人工清理,确保数据质量。

(3) 新模型------IntentNet

  • 为解决 3D-IG 问题,论文提出 IntentNet ,该模型主要由以下三部分组成:
    1. 意图理解(Verb-Object 对齐):首先识别动词,然后匹配相应的对象,提高模型对人类意图的理解能力。
    2. 候选框匹配(Candidate Box Matching):通过检测多个可能的目标,提高 3D 目标检测的准确性。
    3. 级联自适应学习(Cascaded Adaptive Learning):动态调整多个损失项的优化顺序,以增强学习效果。

3. 数据集构建

(1) 采集过程

场景构建 → 物体筛选 → 意图生成 → 数据清理

Intent3D 数据集的生成流程如下:

  1. 构建场景图:基于 ScanNet 3D 点云,整理场景类别、物体类别、实例数量、3D 边界框等信息。
  2. 选择目标物体
    • 常见物体:选择高频物体,排除结构性物体(如"墙")。
    • 非显而易见的物体:排除场景中出现过多次的物体(如会议室里 10 把椅子)。
    • 无歧义的物体:过滤可能导致歧义的物体(如"垃圾桶" vs "垃圾箱")。
  3. 生成意图文本
    • 通过 GPT-4 生成描述该物体用途的意图文本(如 "我想在办公桌上放点绿植")。
    • 采用多轮 Prompt 设计,确保文本不包含明确的物体类别、位置等信息。
  4. 数据清理
    • 移除乱码、重复和含糊的意图文本,确保数据质量。

(2) 统计分析

  • 该数据集包含 63,451 个物体实例 ,平均每个物体有 6 条意图文本
  • 统计分析表明:
    • 使用了 1,568 个不同动词(表示意图),
    • 使用了 2,894 个不同名词(表示物体)。

4. 提出的模型------IntentNet

(1) 多模态特征提取(主干网络)

  • 3D 点云 :采用 PointNet++ 提取点云特征。
  • 语言文本 :采用 RoBERTa 对文本输入进行编码,能够理解文本语义。
  • 3D 目标检测(MLP) :使用 GroupFree 3D 检测器 生成物体候选框。

🔹 编码器(Encoder)

多模态特征通过 Transformer 结构 进行融合:

  1. 点云注意力模块(Point Attention Block)
    • 对点云数据进行 自注意力跨模态注意力,让 3D 特征与文本对齐
  2. 候选框注意力模块(Box Attention Block)
    • 让候选 3D 物体的特征与文本进行交互
    • 目标:强化可能目标的语义匹配
  3. 文本注意力模块(Text Attention Block)
    • 让文本信息与 3D 物体信息交互,提高意图理解能力

🔹 解码器(Decoder)

  1. Top-K 物体候选框选择
    • 选出置信度最高的 Top-K 物体
    • 让模型关注最有可能满足意图的目标,生成查询提议(Query Proposal)
  2. 自注意力与交叉注意力机制
    • 让点云、候选框、文本进行深度融合,提高检测精度
  3. 最终目标检测
    • 预测 3D 目标物体的位置(Bounding Box)

(2) 关键模块

🔹候选框匹配(增强物体推理)(Candidate Box Matching)

  • 3D 场景中可能有多个物体符合同一意图(如"坐下"可以是椅子、沙发)
  • 需要让模型 自动筛选出最相关的目标

解决方案


🔹动词-物体对齐(提高意图理解)(Verb-Object Alignment)

  • AI 需要同时理解 "做什么" + "对什么物体"
  • 先识别意图句中的动词(如 "support"),再匹配其作用对象(如 "back")。
  • 通过 对比学习(Contrastive Learning) 训练 AI 理解动词-对象关系。

解决方案


🔹 级联自适应优化(提升训练效率)(Cascaded Adaptive Learning)

  • 训练多个损失(意图理解、物体匹配、目标检测)很难优化
  • 需要让模型 先学会简单任务,再优化复杂任务
  • 由于 3D-IG 任务涉及多个学习目标(如意图理解、候选框匹配、目标检测),论文提出一种 自适应损失加权机制
    • 先优化高优先级任务(如动词识别),再逐步优化低优先级任务(如目标检测)。
    • 通过 Sigmoid 自适应因子 调整各损失项的影响,提升模型收敛速度。

解决方案


5. 实验结果

(1) 评价指标

  • Top-1 准确率(Top1-Acc@IoU):预测的最高置信度目标是否正确。
  • 平均精度(AP@IoU):在不同置信度阈值下的检测精度。

(2) 对比实验

模型 Top1-Acc@0.25 Top1-Acc@0.5 AP@0.25 AP@0.5
BUTD-DETR 47.12 24.56 31.05 13.05
EDA 43.11 18.91 14.02 5.00
3D-VisTA(基础模型) 42.76 30.37 36.1 19.93
Chat-3D-v2(LLM) 36.71 32.78 3.23 2.58
IntentNet(Ours) 58.34 40.83 41.90 25.36
  • IntentNet 超越所有基线模型,尤其在 AP 和 Top1-Acc 指标上显著提升。
  • LLM 模型 Chat-3D-v2 表现较差,表明现有 LLM 在 3D 任务上的适用性有限。
  • 基础模型 3D-VisTA 虽然有较好的对齐能力,但仍不及 IntentNet ,因为 IntentNet 显式建模了意图推理能力

(3) 消融实验

  • 移除 动词对齐(Verb) ,Top1-Acc@0.25 下降 5.25%
  • 移除 候选框匹配(MatchBox) ,Top1-Acc@0.25 下降 2.09%
  • 移除 自适应学习(Adapt) ,Top1-Acc@0.25 下降 0.95%

6. 结论

该研究提出 3D 意图定位(3D-IG) 这一新任务,并构建 Intent3D 数据集 ,为 3D 目标检测提供新的方向。IntentNet 在意图推理、候选框匹配和级联优化方面展现了领先性能,优于现有 专家模型、基础模型和 LLM

相关推荐
易知微EasyV数据可视化8 小时前
3D高斯泼溅技术:数字孪生的新一代数据引擎
人工智能·3d·数字孪生·建模·3d高斯泼溅技术
zhongqu_3dnest8 小时前
3D实景的概念、特点及应用场景
3d
那就举个栗子!10 小时前
3DGRUT: 革命性的3D高斯粒子光线追踪与混合光栅化技术深度解析
3d
DM今天肝到几点?13 小时前
【7.26-7.28胜算云AI日报:首个开源3D世界生成模型腾讯混元、微软预示 8 月 GPT-5 发布、Nemotron推理、商汤悟能、DM夺金】
人工智能·vscode·microsoft·3d·ai·chatgpt
美狐美颜sdk1 天前
直播美颜SDK动态贴纸模块开发指南:从人脸关键点识别到3D贴合
3d·美颜sdk·直播美颜sdk·第三方美颜sdk·视频美颜sdk·美颜api
cpsvps1 天前
3D芯片香港集成:技术突破与产业机遇全景分析
人工智能·3d
1 天前
3D碰撞检测系统 基于SAT算法+Burst优化(Unity)
算法·3d·unity·c#·游戏引擎·sat
dzj20211 天前
Unity是如何把3D场景显示到屏幕上的——Unity的渲染过程
3d·unity·游戏引擎·渲染·图形学
小赖同学啊2 天前
GIS地理信息系统建设:高精度3D建模
3d
计算机sci论文精选2 天前
CVPR 2024 3D传感框架实现无监督场景理解新纪元
人工智能·机器学习·计算机视觉·3d·cvpr·传感技术