视觉智能的核心目标不仅是识别图像中存在的物体，更在于恢复稠密的空间结构，从而使物理世界具备可测量性、可导航性与可操作性。在分割、深度估计、运动估计与场景布局等任务中，这种空间结构反复通过形状与边界显现：物体掩膜勾画出实体轮廓，深度不连续性暴露几何关系，运动剪影分离动态区域，遮挡轮廓组织可见表面。然而，许多现代视觉基础模型在预训练目标的设计上侧重于语义不变性、跨模态对齐或外观重建，在下游物理智能所依赖的细粒度空间理解方面相对薄弱。针对这一瓶颈，蚂蚁集团技术团队发表了题为《Vision Pretraining for Dense Spatial Perception》的研究工作，提出了名为 LingBot-Vision 的视觉基础模型，通过掩码边界建模（Masked Boundary Modeling）将图像边界与形状不连续性作为自监督学习的原生信号，在无需人工标注、外部边缘检测器或预训练骨干网络的条件下，从零开始学习边界感知的稠密表征。实验表明，仅含11亿参数的LingBot-Vision在NYU-Depth v2线性探测深度估计任务上取得0.296的RMSE，优于70亿参数的DINOv3；基于该预训练模型构建的LingBot-Depth 2.0深度补全系统，在14个基准测试中达到领先性能，展现出边界中心预训练在物理智能领域的巨大潜力。
一、视觉预训练的空间感知瓶颈
过去十年，自监督视觉表征学习经历了从全局到稠密、从小规模到大规模的发展脉络。当前主流方法大致可分为三条技术路线：以DINO系列为代表的自蒸馏路线，通过学生网络与指数移动平均（EMA）教师网络之间的分布匹配来学习表征；以CLIP、SigLIP为代表的跨模态对齐路线，利用语言监督建立图像级语义关联；以MAE、V-JEPA为代表的掩码建模或预测架构路线，通过重建被掩码的像素或潜在特征进行学习。论文指出，这三类方法在密集空间质量上呈现出共同的间接性特征：它们往往通过事后补丁（如后处理上采样器、Gram矩阵锚定正则化或多教师蒸馏）来保护密集特征质量，而非将空间结构本身作为预训练的核心目标。
具体而言，DINOv3在长达百万步的训练后期，其密集特征图会出现退化现象，因此需要引入Gram锚定阶段来恢复特征质量；CLIP与SigLIP等语言对齐模型擅长图像级识别，但在ADE20K等密集分割任务上，其冻结特征的线性探测性能显著落后于专门优化的视觉模型；V-JEPA系列虽通过视频预测获取了时序一致性，但其早期版本在密集空间任务上的冻结特征表现较弱，需依赖后续改进才能部分弥补差距。论文分析认为，造成这一局面的核心原因在于边界与形状的处理方式：它们通常被视为感知的输出，由特定任务头在专项监督下恢复，这种输出中心视角使边界信号难以融入大规模预训练。因此，研究团队提出将边界与形状不连续性从"下游输出"转变为"原生学习信号"，以此重塑视觉预训练的空间感知能力。
二、边界作为原生学习信号：核心思想
研究团队倡导一种边界中心视角（boundary-centric lens）：边界和形状不连续性不仅是感知的输出，更是组织稠密表征的基础信号。基于这一理念，他们提出了掩码边界建模（Masked Boundary Modeling），该框架建立在DINO自蒸馏范式之上，但将教师-学生机制从语义token学习扩展至边界感知的稠密token学习。框架包含两个关键创新：边界强制掩码（Boundary-Forcing Masked Modeling）与分类重参数化（Categorical Reparameterization of Boundary Fields）。
在标准掩码自蒸馏（如iBOT）中，掩码集合是随机采样的，与图像内容无关。这导致一个被忽视的问题：平坦同质区域中的token可由邻域轻易推断，而跨越边界的token携带不可还原的结构信息，却被掩码遗漏。边界强制掩码策略通过让教师网络在线预测的边界决定学生网络的掩码位置，将边界承载的token强制加入掩码集合，从而迫使模型从周围上下文中重建最富信息量的几何区域。与此同时，掩码token按几何路由：边界token额外匹配教师生成的分类边界目标，其余token遵循标准语义自蒸馏目标。这种双目标监督机制使边界感知表征与语义表征能够协同涌现，而非相互竞争。
图1：LingBot-Vision通过边界中心掩码建模学习稠密表征。每行从左至右依次为：输入图像、冻结教师patch token的PCA投影、经a-contrario验证的边界token（粉色）叠加在累积响应上、以及九个边界token查询与所有patch token的余弦相似度图。可见学习到的表征同时承载了语义分组与几何结构。（源自原论文Figure 1）
三、边界场表示与分类重参数化
为了将边界结构转化为可学习的稠密目标，研究团队采用了边界场（Boundary Field）表示。该表示将图像边界建模为直线段集合，曲线边界则通过短线段链逼近。边界场将稀疏线段提升为稠密映射：对于线段附近的每个像素，其属性向量记录到最近线段的距离d、指向线段的方向θ，以及从该像素观察线段两个端点的视角角φ1和φ2。这种参数化是故意冗余的------支持区域内的任意单个像素都携带足够信息以重建整条线段，而线段解码则通过支持区域内所有像素的投票聚合完成。这种多对一的冗余性是方法可自举的关键：即使在训练初期，教师网络的边界场预测尚不准确，大量弱投票的聚合仍能产生有意义的候选线段。
研究团队选择以线段而非传统边缘像素作为基本单元，这一决策具有深刻的理论与工程考量。传统边缘图标记的是像素级光度不连续性，每个边缘像素是孤立的滤波器响应，只能通过任意阈值接受或拒绝，纹理同样会触发此类响应，导致难以验证。相比之下，线段作为一个假设，由多个支持像素共同支撑，可以在"无结构"零假设下接受统计检验：若边界方向服从均匀分布，则某线段获得其支持像素的概率可通过二项分布尾部计算，从而得到无参的显著性度量。这一a-contrario理论框架为自蒸馏循环提供了洁净的目标，避免了幻觉结构被反馈回训练。
图2：边界场参数化概览。(a) 图像边界由直线段建模；(b) 每个像素存储距离d、方向θ及端点视角角φ1、φ2；© 支持区域内的单个像素即可重建整条线段；(d) 通过投票聚合解码线段，对个体噪声具有鲁棒性。（对应原论文Figure 4）
在优化目标方面，直接回归连续边界场在教师-学生循环中容易崩溃，因为连续目标会漂移，且无法利用DINO系列中稳定训练的中心化与锐化机制。为此，研究团队将每个场通道的值域离散化为32个bin，将边界预测转化为逐像素分类问题。教师生成的软标签通过窄温度高斯构造，仅覆盖少数bin，避免过度平滑导致信号湮灭。学生的边界头通过无偏置线性层与单位归一化权重计算logit，使每个logit天然成为余弦相似度，防止崩溃。由于边界目标现在是分类分布，教师输出可执行与语义分支相同的标准中心化和锐化操作，边界学习从而继承了现代自监督学习的稳定性与可扩展性。此外，分类形式天然连接a-contrario理论："无边界"对应均匀分布，任何偏离均匀分布的信号都直接对应统计显著性证据，无需额外设计背景类别或后处理验证步骤。
图3：角点锚定与a-contrario验证的互补保障作用。同一LingBot-Vision教师生成的边界场，在可靠角点锚定下，投票聚合解码已较为干净（左一）；a-contrario测试仅移除少量残余伪影（左二）。在弱自衍生锚点下，未验证的解码退化为稠密伪结构（左三），但a-contrario测试仍能恢复几乎完全一致的线段（左四）。两种保障机制单独即可生效，仅当同时缺失时解码才会失败。（源自原论文Figure 11）
四、在线目标生成与自举机制
掩码边界建模面临一个根本性的"鸡生蛋"问题：边界强制掩码需要预先知道边界位置，但从零初始化的网络尚不具备这一能力。研究团队通过两项设计解决了这一矛盾。首先，他们发现了一个关键性质（论文中称为Finding 1）：只要提供稀疏角点，即使边界场值完全随机采样，也能解码出锚定在角点上的短线段；一旦方向通道被图像梯度引导，完整的线段即可涌现。这意味着教师网络在训练第一步就能提供可用的边界信号，尽管此时场值尚不准确。
图4：边界从角点涌现（Finding 1）。对于两张图像，每幅图像绘制五组随机边界场，固定角点位置后从每组场解码线段。下方两行所有场通道均随机采样，解码出的线段仍锚定角点但短且碎片化；上方两行仅方向通道由图像梯度引导，每次采样均产生连贯、近一致的线段。两种情况下场均未携带任何学习信息。（源自原论文Figure 3）
基于这一发现，教师网络通过四步流程在线生成目标：第一步，教师预测稠密边界场；第二步，一个冻结的极小型单块Vision Transformer角点检测器提供稀疏角点锚点；第三步，结合角点与场值，通过投票聚合解码候选线段集合；第四步，利用a-contrario测试剔除统计上不显著的候选，将幸存者重渲染为干净的边界场目标，仅该目标用于监督学生。整个流程在GPU上完全批量化实现，无需逐图像循环或主机同步，目标生成开销仅占训练步时的很小比例。值得注意的是，角点检测器不观察边界场，也不参与梯度更新，所有表征能力都保留给骨干网络，用于从零学习边界结构。
图5：边界目标的在线生成流程（玩具示例）。即使教师边界场在训练早期充满噪声（b），整体参数化仍使支持区域内大量弱像素投票聚合为以角点锚定的连贯候选线段（c），同时产生如面对角线和背景弦等伪候选。a-contrario测试丢弃无支持候选后，幸存者被重渲染为干净的监督目标场（d）。边界目标由此从原始图像中涌现，仅依赖一个冻结的单块角点检测器。（源自原论文Figure 5）
这一自举机制的有效性在消融实验中得到了验证。论文表1显示，在ImageNet-1K上预训练的ViT-L/16模型中，仅添加分类边界目标即可将NYU-Depth v2的δ1指标从81.4%提升至84.4%，RMSE从0.474降至0.446；进一步引入双目标监督（边界token同时受iBOT语义损失与边界损失）后，δ1提升至84.9%，RMSE降至0.440，同时ImageNet-1K k-NN分类准确率从81.6%提升至82.4%。这表明几何目标与语义目标具有互补性，而非竞争性。
五、模型规模与训练配置
基于上述方法，研究团队将掩码边界建模扩展至大规模训练，开发了LingBot-Vision。数据层面，团队从约20亿张网络图像中筛选出1.61亿张，规模与DINOv2的LVD-142M相当，但远小于DINOv3的LVD-1689M。数据筛选流程遵循DINOv2的检索-去重范式，以ImageNet-1K/21K、Google Landmarks v2、Mapillary-SLS等数据集为种子，通过预训练DINOv2 ViT-B编码器进行视觉相似性检索，最终检索池约占总数六分之五。论文强调，这种相对简单的数据筛选流程表明，后续实验中的性能优势主要来源于预训练目标本身，而非数据规模或筛选复杂度的优势。
模型采用ViT-g/16架构，约11亿参数，配备SwiGLU前馈层、旋转位置编码（RoPE）和4个寄存器token。训练分三阶段：第一阶段为30万步低分辨率（256px）自蒸馏预训练，全局批次大小3072；第二阶段为10万步Gram矩阵锚定，以恢复长期训练后期可能出现的密集特征退化；第三阶段为10万步512px单分辨率适应，使模型适应高分辨率输入。边界头采用三层MLP，输出步长为2，每通道32个bin。教师EMA动量从0.994退火至1.0，边界分支与语义分支损失权重相等，KoLeo正则化权重为0.1。
为服务不同部署场景，团队将旗舰ViT-g模型蒸馏为ViT-L（3亿参数）、ViT-B（8600万参数）和ViT-S（2100万参数）学生模型。蒸馏过程沿用相同训练管线，以冻结的ViT-g替代EMA教师，使学生同时继承语义与边界感知表征。蒸馏预算为每名学生30万步，并附加10万步高分辨率适应。这一蒸馏方案显著短于DINOv3的蒸馏日程，但产生的密集特征质量在同类规模中处于领先位置。
六、冻结特征评估：密集任务性能领先
论文遵循标准冻结特征探测协议：骨干网络完全冻结，仅训练单层线性解码器或采用无参数探测（k-NN、标签传播），以确保性能差异完全源于预训练表征本身。在深度估计任务上，表2的结果显示，LingBot-Vision ViT-g（11亿参数，patch size 16）在NYU-Depth v2上取得0.296的RMSE，为整张表格中所有模型的最优值，优于70亿参数DINOv3的0.309和20亿参数V-JEPA 2.1 ViT-G的0.307。在KITTI数据集上，LingBot-Vision取得2.552的RMSE，为20亿参数以下模型中的最佳表现，仅次于DINOv3与V-JEPA 2.1 ViT-G。考虑到LingBot-Vision使用16的patch size，比多数14 patch size的竞争对手更粗，这一优势尤为显著。
|
方法
|
参数量
|
NYU RMSE ↓
|
KITTI RMSE ↓
|
ADE20K mIoU ↑
|
| --- | --- | --- | --- | --- |
|
DINOv3
|
7B / 16
|
0.309
|
2.346
|
55.9
|
|
V-JEPA 2.1 ViT-G
|
2B / 16
|
0.307
|
2.461
|
47.9
|
|
DINOv2
|
1B / 14
|
0.372
|
2.624
|
49.5
|
|
AM-RADIOv2.5
|
1B / 14
|
0.340
|
2.918
|
53.0
|
|
V-JEPA 2.1 ViT-g
|
1B / 16
|
0.350
|
2.601
|
47.8
|
| LingBot-Vision ViT-g | 1B / 16 | 0.296 | 2.552 | 53.5 |
表1：稠密视觉任务线性探测性能对比（深度估计与语义分割）。LingBot-Vision在NYU-Depth v2上取得最优RMSE，在ADE20K上领先同规模模型。（数据源自原论文Table 2，选取代表性模型）
在语义分割任务上，LingBot-Vision在ADE20K、Cityscapes和VOC12上分别取得53.5、79.6和87.5的mIoU，与经蒸馏的DINOv3 ViT-H+（54.8、81.1、86.6）处于同一水平，并在VOC12上实现超越。相较于同规模标准自监督参考模型DINOv2，LingBot-Vision在三个基准上均提升4 mIoU以上。视频对象分割任务（表3）进一步验证了冻结特征的时间一致性：在DAVIS-2017和YouTube-VOS上，LingBot-Vision分别取得70.0和73.5的J&F均值，与DINOv3 ViT-H+（71.1和74.0）及70亿参数DINOv3（71.1和74.1）相当，优于同规模DINOv2（63.9/65.6）和视频预训练的V-JEPA 2.1 ViT-g（68.1/72.3）。
6.2 边界Token跟踪：时序一致性的微观验证
除了聚合基准测试，研究团队还在微观层面验证了冻结特征的时间一致性。图6展示了三个边界token查询在三种不同性质视频中的跟踪结果：机器人头部相机拍摄的操控场景、自采集的猫咪视频，以及室内相机平移视频。在每一帧中，查询通过该帧边界token的余弦相似度进行匹配，并在局部窗口内更新，同时保持与首帧模板的锚定。
图6：边界token跟踪实验。三行分别对应机器人操控、猫咪运动和室内平移场景。左侧面板为视频帧（十字标记查询位置），右侧三个热图面板分别展示三个查询的余弦相似度响应。可见查询在全程中保持稳定锁定：机器人夹爪与壶身、猫咪头部与侧身、以及大视角变化下的植物与猫爬架平台均可被持续追踪，无需任何微调或时序监督。（源自原论文Figure 7）
实验结果显示，查询在所有三种场景下均保持稳定锁定：在机器人视频中，夹爪手指与操控的壶身始终被锁定；在猫咪视频中，头部与侧身的查询跟随了猫咪的完整转身，而静态窗框上的查询保持不动；在室内平移视频中，查询经受了大视角变化，并在植物重新进入视野时再次捕获。相似度响应始终保持选择性，而非向整个场景扩散。这证明LingBot-Vision的边界token在特征空间中表现为稳定、可追踪的实体，且完全无需时序监督即可获得。
七、LingBot-Depth 2.0：从视觉预训练到深度补全
基于LingBot-Vision在空间表征上的优势，研究团队将其应用于深度补全任务，推出了LingBot-Depth 2.0系统。深度补全旨在从不完整的传感器深度测量中恢复稠密深度图，其挑战在于缺失区域往往集中于物理上最困难的表面------镜面、透明体和弱纹理区域。LingBot-Depth 2.0保留了前代掩码深度建模（MDM）的完整框架，仅更换编码器初始化为LingBot-Vision预训练权重，并将 curated 训练数据从300万扩展至1.5亿样本。
MDM框架将RGB帧与原始深度图分别通过独立嵌入层映射到共享token网格，每个token接收共享空间位置嵌入与模态嵌入。深度token根据传感器有效性进行掩码：完全无效的patch强制掩码，部分有效的patch以高概率掩码，完全有效的patch随机补充，直至达到60%至90%的目标掩码率。ViT编码器联合嵌入全部RGB token与未掩码深度token，解码器通过分层ConvStack头重建完整深度图，以L1损失监督。论文指出，这种设计将深度传感器的自然缺失模式转化为预训练信号，使模型学会从视觉上下文推断 hardest 表面的几何。
7.1 镜面与玻璃场景的几何一致性
主动深度传感器在镜面与玻璃表面的失效是经典难题。图7展示了LingBot-Depth 2.0在真实采集视频序列上的补全效果：窗户玻璃、玻璃护栏和反射地板等区域的原始传感器深度完全缺失，而补全后的区域在点云中呈现为平坦、连续的表面，并在连续帧中保持时序稳定。
图7：LingBot-Depth 2.0在镜面与玻璃场景上的深度补全效果。每组展示连续帧的输入RGB、原始传感器深度与精修深度，以及精修点云的前视图与俯视图。原始深度在最难表面（窗玻璃、玻璃护栏、反射地板）完全缺失，补全区域在点云中形成平坦、连续的表面，并在连续帧中保持稳定。（源自原论文Figure 9）
7.2 与基线方法的定性对比
图8进一步展示了LingBot-Depth 2.0与OMNI-DC、CDMs、LingBot-Depth 1.0等基线方法在透明桌面物体、室外标识、暗墙薄结构及明亮窗户场景上的对比。差异在点云行中最为明显：基线方法或留下开放区域、或弯曲大平面、或在深度不连续处散布漂浮点；LingBot-Depth 1.0在窗户与物体边缘仍存在残余异常值；而LingBot-Depth 2.0保持墙面笔直、平面完整、物体边界锐利，补全深度的遮挡边缘与RGB帧中的物体轮廓精确对齐。
图8：深度补全方法定性对比。每行场景依次展示OMNI-DC、CDMs、LingBot-Depth 1.0与LingBot-Depth 2.0的补全深度图（上）与对应点云（下），以及RGB帧与原始传感器输入。基线方法在缺失区域留下空洞、弯曲平面或散布漂浮点；LingBot-Depth 2.0保持平面笔直、物体边界锐利。（源自原论文Figure 10）
图9：深度补全质量随训练数据规模的变化。在相同掩码深度建模管线下，LingBot-Vision编码器初始化随数据量增加持续改进，而DINOv2初始化在2000万样本后趋于饱和。（对应原论文Figure 8）
在14个深度补全基准上的评估分为三类：block-mask基准（DIODE室内/室外、iBims-1、NYU）、sparse基准（VOID、iBims-1、NYU、ETH3D）和真实传感器基准（Hammer D435/L515/ToF、ClearGrasp D415/D435、LingBot自有D415/D435/D455）。表2展示了block-mask与sparse设置下的部分结果：LingBot-Depth 2.0（ViT-L）在8个基准中的7个取得最优RMSE。其中，block-mask DIODE室内基准的RMSE从前代1.0版本的0.132降至0.062，ViT-g版本进一步降至0.060；DIODE室外从3.404降至2.440。在真实传感器评估（表3）中，系统在透明物体场景（ClearGrasp D415/D435）上取得0.010和0.012的RMSE，显著优于CDMs、OMNI-DC等基线方法。
|
方法
|
DIODE-In RMSE ↓
|
DIODE-Out RMSE ↓
|
NYU RMSE ↓
|
VOID RMSE ↓
|
| --- | --- | --- | --- | --- |
|
CDMs
|
0.461
|
4.594
|
0.280
|
0.990
|
|
OMNI-DC
|
0.183
|
3.679
|
0.151
|
0.206
|
|
LingBot-Depth 1.0
|
0.132
|
3.404
|
0.117
|
0.199
|
| LingBot-Depth 2.0 | 0.062 | 2.440 | 0.116 | 0.170 |
| LingBot-Depth 2.0 (ViT-g) | 0.060 | 2.298 | 0.114 | 0.174 |
表2：Block-mask与Sparse深度补全性能对比（节选）。LingBot-Depth 2.0在多数基准上取得最优RMSE。（数据源自原论文Table 8）
图9的数据缩放曲线揭示了一个关键现象：当训练数据从300万增至2000万再到1.5亿时，LingBot-Vision与DINOv2两种编码器初始化均呈现单调提升，但前者的优势随数据量增加而扩大。具体而言，在D102指标（严格阈值准确率）上，DINOv2初始化在2000万样本后趋于饱和（从0.752微升至0.755），而LingBot-Vision初始化持续从0.777提升至0.795。论文指出，这一复合效应表明空间感知型预训练的优势不会被更多下游数据冲刷，反而会随着数据规模扩大而增强。
八、总结与展望
LingBot-Vision通过将边界结构提升为自监督预训练的一等公民，为视觉基础模型的空间感知能力开辟了新路径。分类重参数化的边界场使稠密几何学习能够继承现代自蒸馏训练的稳定性；边界强制掩码策略将图像中最富信息量的区域转化为 hardest 重建目标；在线a-contrario验证机制确保了自举过程中教学信号的洁净。从稠密深度估计、语义分割到视频对象跟踪，再到面向机器人感知的深度补全，边界中心预训练展现出广泛的适用性与持续的数据缩放潜力。研究团队已公开相关预训练模型与代码，为物理智能领域的视觉感知提供了新的基础工具。
论文与资源论文标题：Vision Pretraining for Dense Spatial PerceptionarXiv编号：arXiv:2607.05247项目主页：https://technology.robbyant.com/lingbot-vision代码仓库：https://github.com/robbyant/lingbot-vision
具身智能&世界模型blog： https://jinxindeep.github.io/blog/blog2026.html