3EED：车辆、无人机、机器狗同场"找目标"，三维视觉定位能否跨平台？
unsetunset1. 一句话总结unsetunset
换一种机器人视角，模型还能听懂指令、找准目标吗？ 3EED 构建覆盖车辆、无人机和四足机器人的户外三维视觉定位基准，并通过平台对齐与尺度自适应建模，改善跨平台定位表现。
unsetunset2. 论文信息unsetunset
-
题目： 3EED: Ground Everything Everywhere in 3D | 3EED：在三维空间中定位各处万物
-
发表： NeurIPS 2025 DB Track
-
作者： Rong Li、Yuhao Dong、Tianshuai Hu、Ao Liang、Youquan Liu、Dongyue Lu、Liang Pan、Lingdong Kong、Junwei Liang、Ziwei Liu
-
单位： WorldBench 团队
-
代码：
-
项目主页：
-
下载：
unsetunset3. 论文摘要unsetunset
三维视觉定位（3D Visual Grounding）就是根据语言描述在三维空间里找出目标的位置。现有的基准大多只适用于室内或者单一平台的情况，不能够用来检验户外视角、尺度以及点云密度的变化。3EED把多种平台的数据、半自动标注以及统一评价的方式结合起来，并且给出了可以适应不同平台的基线，从而揭示出目前的方法存在很大的跨平台泛化差距。
图 2. 标注流程：三维框生成和校对、结构化的语言生成以及各个平台上的词云。
unsetunset4、主要创新之处unsetunset
创新 1：统一三个平台的户外基准
同步采集彩色图像（Red--Green--Blue，RGB）、激光雷达（Light Detection and Ranging，LiDAR）数据等信息，共涉及20,367个场景、128,735个目标以及22,439条人工校对说明，可以进行地面、空中以及低角度拍摄之间的对比。
创新 2：用模型来辅助人工审核的过程
利用多个检测器、跟踪技术以及视觉语言模型（Vision-Language Model，VLM），并且加入人工校对来保证三维框的质量、语言的丰富性和指代的一致性。
创新 3：平台适配以及统一评测
通过平台感知归一化以及跨模态对齐来创建域内的、跨平台的、多目标以及联合训练协议，从而给泛化研究提供一个可以比较的基础。
图 3.三个平台的点云、图像以及指代说明的例子。
图 4.为目标空间分布、场景统计数据以及点云高度分布图。
unsetunset5. 方法详解unsetunset
5.1 问题定义和整个过程
把平台相关的感知数据和语言描述对应到目标框上：
其中表示的是平台，、分别代表点云和图像，用来描述，用来做定位模型；包含中心、尺寸以及朝向等七项参数；公式解释：目标就是在不同的感知条件下把相同的语言指令落实到真实的三维空间里去；实际的基线是用点云和文本直接来预测出一个框。
图 1. 三平台多模态三维定位：按照描述来定位目标，并且展示了从不同的机器人角度所遇到的问题。
5.2 数据建立：先校正目标，后检验说明
Waymo 提供了汽车的数据，M3ED 提供了无人机和四足机器人的数据。后两者使用检测器产生伪框，并用核密度估计（Kernel Density Estimation，KDE）进行融合、追踪填补漏洞以及图像语义检查之后再由人工进行修改。Qwen2-VL-72B 根据类别、状态、位置以及关系来创建描述，并且人工排除掉歧义和错误。
图 7. 使用Tokenize Anything辅助的自动伪标签筛选页面。
图 8. 人工核验界面：利用投影框进行核查，并对指代说明做出相应的调整。
表 8. 单目标定位提示词。
表 9. 多目标定位的提示词。
5.3 跨平台对齐：首先使坐标参照一致
跨平台对齐（Cross-Platform Alignment，CPA）可以减小横滚、俯仰的角度差，把重力的方向和全局的竖直轴对齐起来，并且给无人机加上高度偏移归一化的操作。这样就可以使得"上"、"后"的空间关系有一个更加统一的坐标参考系。
5.4 多尺度采样和自适应融合
多尺度采样(Multi-Scale Sampling，MSS) 在PointNet++中用到的是不同大小的邻域半径，并且可以保留住局部的信息以及远处稀疏点云所携带的上下文信息。尺度感知融合(Scale-Aware Fusion，SAF) 利用的是多层感知机（Multilayer Perceptron，MLP）来计算每个点对应的尺度权重值，在此基础上对各个特征进行加权求和。
冻结的 RoBERTa 编码文本，在视觉和语言特征相互作用之后，用Transformer解码器得到一个三维框。对于多个目标的情况，使用匈牙利匹配来实现预测和目标之间的一一对应关系。
5.5 损失函数
训练中使用了分类、框回归、广义交并比（Generalized Intersection over Union，GIoU）以及对比对齐损失来限制目标判断、几何位置和语义关联；对比监督既包括从视觉查询到文本的方向也包括逆向的关系。但是没有给出完整的加权总损失函数以及各个参数的具体值，在此不做补充说明。
用一句话来概括这个方法就是：先缩小平台坐标之间的差距，然后根据局部疏密的情况来选取合适的尺度，使语言和三维的目标更容易对应起来。
unsetunset6. 实验结果unsetunset
6.1 实验条件和数据分布
训练集和验证集各有11,747和8,620个场景，验证集中有9,706条描述，每个场景取16,384个点，并用AdamW进行训练，在单目标下训练了100轮，在两张RTX 4090上每张卡批量为12，点编码器和其他模块的学习率分别为和，在多目标情况下采用单卡、200轮的方式进行训练，整个过程的学习率为。对比 BUTD-DETR、EDA 和 WildRefer。
使用交并比（Intersection over Union，IoU）阈值准确率和平均交并比（mean IoU，mIoU）来衡量评测结果：
其中表示查询次数，和分别是预测框和真实框，是指示函数，。公式解释：计算重叠度大于阈值的比例，并用百分比的形式给出结果；多目标准确率要求一个句子的所有目标都达到标准。
表 1. 户外三维定位基准比较：平台、覆盖范围和数据量。
表 7. 该平台训练集、验证集所包含的不同场景、描述以及目标统计数据。
表 10. 是按照场景目标的数量来分组的平台和数据划分情况统计。
图 5. 多目标定位示意图：联合解析目标属性和空间关系。
图 9. 为车辆平台补充的数据示意图。
图 10. 无人机平台补充的数据例子。
图 11. 四足机器人的补充数据示例。
图 12. 多目标定位补充的数据示意图。
图 13. 为各平台的目标框内的点数分布情况，无人机的目标更稀疏。
6.2 定量的结果
根据表2可知，联合训练的整体Acc@25/50为63.84%/29.66%，均是表格中的最好成绩；相比于EDA的52.46%/25.02%，分别提高了11.38和4.64个百分点；但是无人机Acc@50只有9.75%，稍微低于WildRefer的9.85%，并不是所有方面都处于领先地位。
在车载多目标任务中，平均准确率Acc@25为32.32%，Acc@50为29.89%，mIoU为56.40%，相比于EDA分别提高了5.41个百分点、3.97个百分点和5.33个百分点。
表 2. 为不同训练平台下域内、零样本跨平台以及联合训练的结果。
表 3. 车辆平台多目标定位的分组情况和总的结果。
6.3 定性结果
可以得到更加符合要求的三维框，并且对于相对位置和多个目标之间的关系也有了更清楚的认识；这里所考察的是空间定位问题，并不是图像纹理或者融合效果。
图 6. 为联合训练之后三种不同平台定位结果的比较。
图 14. 为车辆平台单目标定位的补充比较。
图 15. 为无人机平台单目标定位的补充比较图。
图 16. 四足机器人的单目标定位补充比较。
图 17. 多目标定位补充比较，绿色、蓝色表示真实的框和预测框。
6.4 消融和复杂度
去掉CPA、MSS之后，车辆Acc@25分别从原来的80.86%降到现在的71.76%、75.65%，去掉SAF之后四足机器人的Acc@25也从原来的53.31%降到现在的51.98%。但是完整的模型并不是所有的Acc@50项都最好，模块收益受平台以及阈值的影响。
表 4. 为CPA、MSS、SAF各模块被消融后的结果。
表 5. 为不同场景下目标个数对定位结果的影响。
表 6. 为平台的目标密度、点云密度以及跨平台性能矩阵。
论文没有给出参数个数、浮点运算量（Floating-Point Operations，FLOPs）以及推理所需的时间等信息，因此不能对开销进行定量分析。
unsetunset7. 结论和预测unsetunset
3EED 将户外三维定位推广到多个平台的一致性评价上，并且证明了平台对齐与尺度适配可以提高定位效果，但是不同平台之间的差异依然很大。目前的数据主要是针对静态环境的，还没有涉及到时序交互、歧义语言以及各种传感器的泛化问题。
一句话概括就是：3EED 的价值就在于使"换一台机器人能不能找到目标"变成可以系统的检验的问题。
往期推荐
