论文阅读——ScanQA

ScanQA: 3D Question Answering for Spatial Scene Understanding

输入:点云P和问题Q,输出:答案A

点云p由三维坐标点组成。本文模型使用额外的点云特征:点云高度、颜色、法线和多视图图像特征,这些特征将 2D 外观特征投影到点云上。将上面这些特征结合,作为模型的3d特征。

ScanQA model网络结构:

模型包括3D &language encoder, 3D & language fusion, and object localization & QA layers

VoteNet的骨干网络是PointNet++,VoteNet的输入是3d特征,输出的是物体候选区域,然后使用非线性层候选物体的表示。

transformer encoder提供K和V

Fusion是一个带有注意力的两层MLP

最上面一层目标定位Object localization module模块是用于决定VoteNet输出的目标框属于该问题的最大似然,也就是,网络会生成很多框,但是只有一部分是和问题相关的,这个模块要把它选出来。使用CEloss。

Object classification module预测了什么物体是和问题有关系的。CEloss。

Answer classification module预测问题的答案。

LOSS:

VoteNet有个检测损失Ldet,还有最上面三个模块的定位损失Lloc,分类损失Lobj,答案损失Lans,四者相加。L = Lans + Lobj + Lloc + Ldet

相关推荐
小杨40433 分钟前
python入门系列十四(多进程)
人工智能·python·pycharm
阿坡RPA15 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499315 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心16 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI18 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c18 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20519 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清19 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh19 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员19 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn