https://arxiv.org/pdf/2506.05409
摘要
最先进的视觉预训练方法依赖于从ImageNet等以对象为中心的数据集进行图像级自蒸馏，隐含地假设每张图像仅包含单个对象。这一假设并不总是成立：许多ImageNet图像已经包含多个对象。此外，这限制了向更能反映真实世界复杂性的场景中心数据集的可扩展性。我们通过引入对象级自蒸馏（ODIS） 来解决这些挑战，这是一种将自蒸馏粒度从整张图像转移到单个对象的预训练方法。通过使用对象感知裁剪和掩码注意力，ODIS隔离对象特定区域，引导Transformer关注语义上有意义的内容，将嘈杂的场景级任务转化为更简单的对象级子任务。我们表明，该方法在图像级和补丁级都改善了视觉表征。在推理时使用掩码，我们的方法在ImageNet1k上使用ViT-Large达到了令人印象深刻的82.6% k-NN准确率。
1 引言
视觉Transformer（ViT）Dosovitskiy et al., 2020已成为多样化视觉任务的基础模型------从无监督分割到密集对应和外观迁移------Amir et al., 2021, Tumanyan et al., 2022, Ofri-Amar et al., 2023, Hamilton et al., 2022，因为其冻结特征捕获了丰富的、可迁移的语义信息。与大型语言模型类似，ViT的表征能力很大程度上来源于大规模自监督预训练Caron et al., 2021, Zhou et al., 2021, Oquab et al., 2023。最先进的预训练方法通常采用教师-学生架构Tarvainen and Valpola, 2017和自蒸馏Caron et al., 2021。在这些方法中，教师网络提供参考嵌入，引导学生在选定的粒度上对齐其表征------最常见的是图像级和补丁级。
图1：（左）ImageNet中的多对象示例。取自Yun et al., 2021。（右）教师和学生看到不同对象的裁剪。
在图像级，自蒸馏通过对全局CLS嵌入的单标签分类目标来实现。虽然对于ImageNetDeng et al., 2009等以对象为中心的数据集有效，但它隐含地假设每张图像包含单个对象，且单标签目标能够在图像级蒸馏最重要的内容。在实践中，图像级蒸馏损失将图像中的所有信息压缩到单个向量中，纠缠了共现对象和背景的语义。
这一假设与多对象图像的真实数据分布不匹配。
我们强调由单对象假设引起的两个关键问题。首先，即使在ImageNet内部，近期研究表明相当比例的图像包含多个对象，如图1（左）所示Stock and Cisse, 2018, Recht et al., 2019, Tsipras et al., 2020, Shankar et al., 2020, Beyer et al., 2020, Yun et al., 2021。事实上，ImageNet中大约20%的图像自然需要多个标签，这反映在改进的多标签验证集标注Tsipras et al., 2020, Beyer et al., 2020和改进的用于监督训练的多标签训练集标注Yun et al., 2021中。然而，现有的自监督预训练方法并未明确处理这种多对象场景，例如，随机裁剪可能包含不同的对象，如图1（右）所示。其次，这种图像级蒸馏不能直接扩展到更复杂的、包含许多交互对象的场景中心数据集，其中单一的全局表征忽略了有价值的局部线索。
这一局限性类似于仅在简短、简单的文本上训练语言模型，而非长篇、上下文丰富的语料库Radford et al., 2018。正如语言模型在输入更广泛、更复杂的数据时获得显著提升一样，ViT有望从包含多个对象的场景中心图像或视频的预训练中受益。然而，实现这一目标需要一种能够在复杂场景中准确隔离和表征单个对象的方法------这一能力随着现代分割模型的发展变得越来越可行Liu et al., 2024, Kirillov et al., 2023。
我们通过引入对象级自蒸馏（ODIS） 来解决这些挑战，这是一种将自蒸馏从整张图像级别细化到单个对象粒度的预训练方法（见图2）。通过这样做，它将嘈杂、复杂的场景级任务转化为关注不同实体的更简单子任务。ODIS通过以下方式显式引导ViT关注语义上更有意义的对象特定内容：①对象感知裁剪 ，确保学生和教师的输入包含（不同视角的）同一对象；②掩码注意力，引导优化目标学习对分类等下游任务有用的以对象为中心的表征。这些观察也可以融入对比学习Chen et al., 2020、掩码图像建模He et al., 2022和多模态框架Radford et al., 2021。
在实验上，ODIS在图像级和补丁级基准测试上都显著优于最先进的图像级蒸馏方法。值得注意的是，使用ODIS预训练的ViT-Large模型在推理时使用掩码，在ImageNet1k上达到了82.6%的k-NN准确率，比iBOTZhou et al., 2021提高了+4.6%，比DINOv2Oquab et al., 2023提高了+0.6%。类似地，即使在推理时不使用分割掩码，ODIS也以较大优势超越iBOT，这意味着我们的对象级蒸馏目标产生了更好的骨干网络。除了图像级分类 gains 之外，ODIS还在上下文场景理解任务中提升了补丁级性能Balazevic et al., 2024，凸显了超越单对象假设并在未来视觉基础模型中拥抱多对象预训练的重要性。
2 相关工作
下面我们总结图像级和对象级自监督学习方法。关于以对象为中心的学习和分割方法的文献综述请参见附录A。
图像级自监督。 受NLP中大规模自监督预训练成功的启发，大量工作探索了视觉领域的类似策略。早期方法关注预训练任务，如掩码和重建补丁He et al., 2022, Bao et al., 2021，可能在特征空间中进行Assran et al., 2023。这些方法在针对特定下游目标进行微调时，在多样化任务上展示了改进的性能。
然而，我们关注无需额外微调即可使用的表征，更接近判别性图像级自监督方法Chen et al., 2020, Grill et al., 2020, Caron et al., 2021, Zhou et al., 2021, Oquab et al., 2023。最先进的方法通常采用教师-学生框架Tarvainen and Valpola, 2017结合图像级自蒸馏Grill et al., 2020, Caron et al., 2021，消除了对负样本的需求Chen et al., 2020。Zhou et al. 2021将Caron et al., 2021中的图像级自蒸馏与受掩码语言建模Devlin et al., 2018启发的补丁级损失相结合。在此基础上，Oquab et al. 2023引入了用于稳定大规模训练的算法改进，并将ViT预训练扩展到1.42亿图像的数据集和10亿参数的网络。这在多样化视觉任务上取得了最先进的结果。我们的工作也建立在iBOTZhou et al., 2021之上，但我们专注于将学习目标增强到更细的粒度，而非扩展预训练规模。
对象级自监督。 一条平行的研究线探索了自监督目标中更细的粒度级别，从像素级蒸馏O Pinheiro et al., 2020到补丁级Wang et al., 2021或完整对象级Hénaff et al., 2021, 2022, Xie et al., 2021, Stegmüller et al., 2023, Wen et al., 2022。这些工作主要针对密集下游任务如目标检测和语义分割，通常通过完全微调Hénaff et al., 2021, 2022, Wen et al., 2022或线性预测头Xie et al., 2021, Stegmüller et al., 2023进行评估。
与我们的方法最接近的是Hénaff et al., 2021, 2022。特别值得关注的是，Hénaff et al. 2021通过利用对象分割掩码制定了对象级对比损失。然而，他们对密集特征使用平均（线性）池化来形成对象表征，限制了学习嵌入的表达力。相比之下，我们的掩码注意力机制在每个Transformer层使用对象分割掩码，产生高度非线性的对象级表征。更重要的是，虽然先前的工作强调针对目标检测和分割的微调，但我们的目标是学习开箱即用的、对下游任务有用的通用对象级表征。
3 预备知识
在本节中，我们简要回顾DINOCaron et al., 2021和iBOTZhou et al., 2021的自监督预训练算法，因为我们的方法建立在其之上。
输入。 输入图像 x∈RC×Himg×Wimgx \in \mathbb{R}^{C \times H_{img} \times W_{img}}x∈RC×Himg×Wimg 通过标准增强（如随机裁剪后调整大小）进行变换，以获得两个随机全局视图：x(1),x(2)∈RC×Hresize×Wresizex^{(1)}, x^{(2)} \in \mathbb{R}^{C \times H_{resize} \times W_{resize}}x(1),x(2)∈RC×Hresize×Wresize。两个视图 x(1)x^{(1)}x(1) 和 x(2)x^{(2)}x(2) 被划分为 H×WH \times WH×W 个补丁，并线性投影到 DDD 维嵌入空间：x~(1),x~(2)∈R(HW)×D\tilde{x}^{(1)}, \tilde{x}^{(2)} \in \mathbb{R}^{(HW) \times D}x~(1),x~(2)∈R(HW)×D。最先进的预训练方法Caron et al., 2021, Zhou et al., 2021, Oquab et al., 2023通常拼接 CLS∈R1×DCLS \in \mathbb{R}^{1 \times D}CLS∈R1×D 令牌，该令牌汇总图像级视觉信息：\[CLS,x~]∈R(1+HW)×D\[CLS, \tilde{x}] \in \mathbb{R}^{(1+HW) \times D}\[CLS,x~]∈R(1+HW)×D。
网络架构。 算法使用一对学生网络和教师网络实现：gs=hs∘bsg_s = h_s \circ b_sgs=hs∘bs 和 gt=ht∘btg_t = h_t \circ b_tgt=ht∘bt，其中 bs,btb_s, b_tbs,bt 为ViT骨干网络，hs,hth_s, h_ths,ht 为MLP预测头。MLP预测头 hs,hth_s, h_ths,ht 的输出激活为带温度 ts>ttt_s > t_tts>tt 的softmax。
视觉表征。 视觉表征是ViT骨干网络的输出。虽然教师和学生实际上都处理两个全局视图，但为清晰起见，我们说明一个简化场景，其中教师接收视图1，学生接收视图2（使用图2b中的视图颜色编码）。
zCLS,t(1),zpatches,t(1)=bt(\[CLS(1),x~(1)]),教师 - 视图1(1)z^{(1)}{CLS,t}, z^{(1)}{patches,t} = b_t(\[CLS^{(1)}, \tilde{x}^{(1)}]), \quad \text{教师 - 视图1} \tag{1}zCLS,t(1),zpatches,t(1)=bt(\[CLS(1),x~(1)]),教师 - 视图1(1)
zCLS,s(2),zpatches,s(2)=bs(\[CLS(2),x~(2)]),学生 - 视图2(2)z^{(2)}{CLS,s}, z^{(2)}{patches,s} = b_s(\[CLS^{(2)}, \tilde{x}^{(2)}]), \quad \text{学生 - 视图2} \tag{2}zCLS,s(2),zpatches,s(2)=bs(\[CLS(2),x~(2)]),学生 - 视图2(2)
其中图像级表征 zCLS∈R1×Dz_{CLS} \in \mathbb{R}^{1 \times D}zCLS∈R1×D，补丁级表征 zpatches∈RHW×Dz_{patches} \in \mathbb{R}^{HW \times D}zpatches∈RHW×D。
图像级目标（DINO损失）Caron et al., 2021。 MLP头以表征 zCLSz_{CLS}zCLS 为输入，产生概率向量 ps,ptp_s, p_tps,pt，例如 pCLS,s=hs(zCLS)p_{CLS,s} = h_s(z_{CLS})pCLS,s=hs(zCLS)。我们取对应于不同视图 x(1),x(2)x^{(1)}, x^{(2)}x(1),x(2) 的概率向量 ps,ptp_s, p_tps,pt 之间的交叉熵（CE）损失：
pCLS,t(1)=ht(zCLS(1)),教师 - 视图1 CLS(3)p^{(1)}{CLS,t} = h_t(z^{(1)}{CLS}), \quad \text{教师 - 视图1 CLS} \tag{3}pCLS,t(1)=ht(zCLS(1)),教师 - 视图1 CLS(3)
pCLS,s(2)=hs(zCLS(2)),学生 - 视图2 CLS(4)p^{(2)}{CLS,s} = h_s(z^{(2)}{CLS}), \quad \text{学生 - 视图2 CLS} \tag{4}pCLS,s(2)=hs(zCLS(2)),学生 - 视图2 CLS(4)
LCLS=CrossEntropy(pCLS,t(1),pCLS,s(2)),DINO损失(5)\mathcal{L}{CLS} = \text{CrossEntropy}(p^{(1)}{CLS,t}, p^{(2)}_{CLS,s}), \quad \text{DINO损失} \tag{5}LCLS=CrossEntropy(pCLS,t(1),pCLS,s(2)),DINO损失(5)
为清晰起见，我们仅提供了上述简化场景的损失项。完整损失在视图间是对称的：LCLS=12(CE(pCLS,t(1),pCLS,s(2))+CE(pCLS,t(2),pCLS,s(1)))\mathcal{L}{CLS} = \frac{1}{2}(\text{CE}(p^{(1)}{CLS,t}, p^{(2)}{CLS,s}) + \text{CE}(p^{(2)}{CLS,t}, p^{(1)}_{CLS,s}))LCLS=21(CE(pCLS,t(1),pCLS,s(2))+CE(pCLS,t(2),pCLS,s(1)))。
补丁级目标和iBOT损失Zhou et al., 2021。 iBOT创建了一个额外的掩码图像建模任务。对于学生网络输入，它将随机二值掩码 m1∈{0,1}HWm_1 \in \{0,1\}^{HW}m1∈{0,1}HW 应用于输入补丁令牌 x~(1),x~(2)∈R(HW)×D\tilde{x}^{(1)}, \tilde{x}^{(2)} \in \mathbb{R}^{(HW) \times D}x~(1),x~(2)∈R(HW)×D。掩码将对应令牌替换为通用 PATCHPATCHPATCH 令牌，例如 x~(1)m1:=PATCH\tilde{x}^{(1)}m_1 := PATCHx~(1)m1:=PATCH。教师接收未掩码的补丁令牌。与图像级损失类似，MLP预测头产生概率向量，例如 ppatches,s=hs(zpatches,s)p_{patches,s} = h_s(z_{patches,s})ppatches,s=hs(zpatches,s)。
与图像级损失的跨视图公式不同，补丁级损失对于同一视图中补丁索引 i∈HWi \in HWi∈HW 对应的单个补丁计算如下：
ppatches,t(1)=ht(zpatches(1)),教师 - 视图1 未掩码(6)p^{(1)}{patches,t} = h_t(z^{(1)}{patches}), \quad \text{教师 - 视图1 未掩码} \tag{6}ppatches,t(1)=ht(zpatches(1)),教师 - 视图1 未掩码(6)
ppatches,s(1)=hs(zpatches(1)),学生 - 视图1 掩码(7)p^{(1)}{patches,s} = h_s(z^{(1)}{patches}), \quad \text{学生 - 视图1 掩码} \tag{7}ppatches,s(1)=hs(zpatches(1)),学生 - 视图1 掩码(7)
LPATCHi=m1i⋅CrossEntropy(ppatches,t(1)i,ppatches,s(1)i),补丁损失,i∈HW(8)\mathcal{L}{PATCH}i = m_1i \cdot \text{CrossEntropy}(p^{(1)}{patches,t}i, p^{(1)}_{patches,s}i), \quad \text{补丁损失}, i \in HW \tag{8}LPATCHi=m1i⋅CrossEntropy(ppatches,t(1)i,ppatches,s(1)i),补丁损失,i∈HW(8)
对所有掩码补丁求和：LPATCH=−1∑jm(j)∑i∈HWLPATCHi\mathcal{L}{PATCH} = -\frac{1}{\sum_j m^{(j)}} \sum{i \in HW} \mathcal{L}{PATCH}iLPATCH=−∑jm(j)1∑i∈HWLPATCHi。iBOT损失将图像级和补丁级损失相加：LiBOT=LCLS+LPATCH\mathcal{L}{iBOT} = \mathcal{L}{CLS} + \mathcal{L}{PATCH}LiBOT=LCLS+LPATCH。
优化。 学生网络参数 θs\theta_sθs 在每一步通过随机梯度下降更新。梯度不回传到教师网络，教师参数 θt\theta_tθt 在每个epoch作为学生参数 θs\theta_sθs 的指数移动平均（EMA）更新：θt=λθt+(1−λ)θs\theta_t = \lambda\theta_t + (1-\lambda)\theta_sθt=λθt+(1−λ)θs Tarvainen and Valpola, 2017。
4 对象级自蒸馏
图3： 使用对象分割掩码的掩码注意力。
接下来，我们详细介绍对象级自蒸馏（ODIS） ，这是我们提出的将自蒸馏从传统的图像级重新定义到对象级的预训练方法。ODIS围绕两个关键组件构建：①对象感知裁剪 ，确保学生网络和教师网络接收同一对象的不同视图；②掩码注意力，将学习目标聚焦于对象，如图2和图3所示。这些组件共同引导模型学习更丰富的、以对象为中心的表征，这些表征能有效迁移到分类等下游任务。
① 对象感知裁剪 除了输入图像 x∈RC×Himg×Wimgx \in \mathbb{R}^{C \times H_{img} \times W_{img}}x∈RC×Himg×Wimg 外，模型还接收二值对象分割图 y∈{0,1}Himg×Wimgy \in \{0,1\}^{H_{img} \times W_{img}}y∈{0,1}Himg×Wimg，其中 yij=1y_{ij} = 1yij=1 表示对象存在于像素位置 (i,j)(i,j)(i,j)（我们的方法同样适用于边界框）。在增强输入图像 xxx 以获得两个随机视图 x(1),x(2)∈RC×Hresize×Wresizex^{(1)}, x^{(2)} \in \mathbb{R}^{C \times H_{resize} \times W_{resize}}x(1),x(2)∈RC×Hresize×Wresize 时，我们对对象分割图 yyy 应用相同的空间变换，以获得与图像视图对齐的两个分割视图：y(1),y(2)∈{0,1}Hresize×Wresizey^{(1)}, y^{(2)} \in \{0,1\}^{H_{resize} \times W_{resize}}y(1),y(2)∈{0,1}Hresize×Wresize。与图像视图类似，分割视图 y(1),y(2)y^{(1)}, y^{(2)}y(1),y(2) 进一步划分为 H×WH \times WH×W 个补丁，并转换为二值对象掩码 y~(1),y~(2)∈{0,1}HW\tilde{y}^{(1)}, \tilde{y}^{(2)} \in \{0,1\}^{HW}y~(1),y~(2)∈{0,1}HW。我们通过随机裁剪最多20次并确保全局视图包含目标对象来保证目标对象存在于两个全局视图中。
根据数据集的不同，一张图像可能包含多个对象，多个对象位置可能被标注为分割图。当训练期间输入分割图包含多个不同对象时，我们在每次前向传播中采样单个目标对象。为了采样目标对象，我们考虑两种对象采样策略：随机采样或按对象面积比例随机采样（详见消融实验）。这样，模型在每次前向传播中针对单个对象，同时能够在整个训练周期中看到图像中的所有对象。
② 掩码注意力 与Caron et al., 2021, Zhou et al., 2021, Oquab et al., 2023中拼接图像级 CLSCLSCLS 令牌不同，我们将对象级类令牌 OBJ∈R1×DOBJ \in \mathbb{R}^{1 \times D}OBJ∈R1×D 添加到输入补丁序列 x~(1),x~(2)∈RHW×D\tilde{x}^{(1)}, \tilde{x}^{(2)} \in \mathbb{R}^{HW \times D}x~(1),x~(2)∈RHW×D 中：\[OBJ,x~]∈R(1+HW)×D\[OBJ, \tilde{x}] \in \mathbb{R}^{(1+HW) \times D}\[OBJ,x~]∈R(1+HW)×D。OBJOBJOBJ 令牌的功能是仅表征目标对象的特征，而 CLSCLSCLS 令牌表征整张图像。使用掩码注意力，OBJOBJOBJ 令牌仅关注对象存在的补丁，基于对象二值掩码 y~(1),y~(2)\tilde{y}^{(1)}, \tilde{y}^{(2)}y~(1),y~(2)。换句话说，我们阻止 OBJOBJOBJ 令牌关注对象不存在的补丁。同样，我们使用教师网络接收视图1、学生网络接收视图2的场景：
zOBJ,t(1),zpatches,t(1)=bt(\[OBJ(1),x~(1)],obj-attn-mask=y~(1)),教师 - 视图1(9)z^{(1)}{OBJ,t}, z^{(1)}{patches,t} = b_t(\[OBJ^{(1)}, \tilde{x}^{(1)}], \text{obj-attn-mask} = \tilde{y}^{(1)}), \quad \text{教师 - 视图1} \tag{9}zOBJ,t(1),zpatches,t(1)=bt(\[OBJ(1),x~(1)],obj-attn-mask=y~(1)),教师 - 视图1(9)
zOBJ,s(2),zpatches,s(2)=bs(\[OBJ(2),x~(2)],obj-attn-mask=y~(2)),学生 - 视图2(10)z^{(2)}{OBJ,s}, z^{(2)}{patches,s} = b_s(\[OBJ^{(2)}, \tilde{x}^{(2)}], \text{obj-attn-mask} = \tilde{y}^{(2)}), \quad \text{学生 - 视图2} \tag{10}zOBJ,s(2),zpatches,s(2)=bs(\[OBJ(2),x~(2)],obj-attn-mask=y~(2)),学生 - 视图2(10)
注意，每个Transformer层使用对象分割掩码作为输入，如图3中的MaskedMultiHeadAttention（MaskedMHA）块所示，以更新 OBJOBJOBJ 令牌的注意力分数。这导致对象级表征是对应补丁令牌的高度非线性混合，而非考虑补丁平均池化的工作Hénaff et al., 2021, 2022, Lebailly et al., 2023。
在标准ViT中，CLSCLSCLS 令牌可以关注任何其他令牌，包括大的、有纹理的或裁剪重叠的背景补丁。这些非信息性令牌经常从对应重要前景对象的令牌中窃取一些注意力。我们的掩码注意力设计通过允许 OBJOBJOBJ 令牌仅从分割掩码内的令牌中池化信息来打破这种注意力竞争。这种简单的掩码消除了背景"搭便车者"，从而产生具有更高信噪比的更干净的对象嵌入。重要的是，该限制仅适用于 OBJOBJOBJ 令牌，即属于对象的补丁令牌仍然参与与图像中其余补丁的完全、未掩码的自注意力。因此它们可以获取真正有信息量的上下文。例如，图1中的谷仓墙壁和草地纹理携带关于牛令牌的信息；因此，它们可能帮助对象令牌更好地描述对象。简而言之，掩码注意力在池化时解决了注意力竞争问题，同时保留了使Transformer特征强大的丰富跨令牌交互。
对象级目标。 MLP预测头以表征 zOBJz_{OBJ}zOBJ 为输入，产生概率向量 ps,ptp_s, p_tps,pt，例如 pOBJ,s=hs(zOBJ)p_{OBJ,s} = h_s(z_{OBJ})pOBJ,s=hs(zOBJ)。为清晰起见，我们再次提供一个仅在一个方向上计算交叉熵损失的简化示例：我们取对应于不同视图 x(1),x(2)x^{(1)}, x^{(2)}x(1),x(2) 的概率向量 ps,ptp_s, p_tps,pt 之间的交叉熵损失：
pOBJ,t(1)=ht(zOBJ(1)),教师 - 视图1 OBJ(11)p^{(1)}{OBJ,t} = h_t(z^{(1)}{OBJ}), \quad \text{教师 - 视图1 OBJ} \tag{11}pOBJ,t(1)=ht(zOBJ(1)),教师 - 视图1 OBJ(11)
pOBJ,s(2)=hs(zOBJ(2)),学生 - 视图2 OBJ(12)p^{(2)}{OBJ,s} = h_s(z^{(2)}{OBJ}), \quad \text{学生 - 视图2 OBJ} \tag{12}pOBJ,s(2)=hs(zOBJ(2)),学生 - 视图2 OBJ(12)
LOBJ=CrossEntropy(pOBJ,t(1),pOBJ,s(2)),对象级损失(13)\mathcal{L}{OBJ} = \text{CrossEntropy}(p^{(1)}{OBJ,t}, p^{(2)}_{OBJ,s}), \quad \text{对象级损失} \tag{13}LOBJ=CrossEntropy(pOBJ,t(1),pOBJ,s(2)),对象级损失(13)
损失是对称的：LOBJ=12(CE(pOBJ,t(1),pOBJ,s(2))+CE(pOBJ,t(2),pOBJ,s(1)))\mathcal{L}{OBJ} = \frac{1}{2}(\text{CE}(p^{(1)}{OBJ,t}, p^{(2)}{OBJ,s}) + \text{CE}(p^{(2)}{OBJ,t}, p^{(1)}_{OBJ,s}))LOBJ=21(CE(pOBJ,t(1),pOBJ,s(2))+CE(pOBJ,t(2),pOBJ,s(1)))。
最终损失。 我们的最终损失将对象级损失与第3节中描述的补丁级损失相加：
LODIS=LOBJ+LPATCH(14)\mathcal{L}{ODIS} = \mathcal{L}{OBJ} + \mathcal{L}_{PATCH} \tag{14}LODIS=LOBJ+LPATCH(14)
作为补丁级掩码策略，我们使用与Zhou et al., 2021相同的随机块掩码。
关于使用对象分割图的讨论 现代SSL采用弱监督信号如配对文本，但仍忽略了最简单的一种：已经与ImageNet-1k、COCO和许多其他数据集捆绑的分割掩码。在ODIS中，我们将这些掩码视为免费监督，在预训练期间提供对象感知裁剪，使网络学习空间锚定的特征。如果推理时掩码不可用，我们建议运行轻量级类感知分割工具，仅从预测的对象区域进行池化。这一简单的调整在我们尝试的每个基准测试上都提升了准确率，无需额外标签或超参数调整。只要掩码可用或可以自动生成，SSL管道应默认使用它们。
实现细节
我们遵循先前工作中的ViT架构和预训练设置Caron et al., 2021, Zhou et al., 2021，详见附录C。我们使用不同大小的ViT：ViT-Small/16、ViT-Base/16和ViT-Large/16，补丁大小为16。
对象分割图。 对于COCO和IN1k，我们在主要实验中使用提供的真实分割图。对于COCO，每张图像平均包含约7个不同的对象实例，涵盖约150个对象类别。对于IN1k，每张图像提供一个单对象分割图，定位主要对象。对于IN1k，所有5万张验证图像都有有效的分割图，而训练图像中仅有50万/120万张有分割图。对于缺少分割图的图像，我们假设主要对象覆盖整张图像。在IN1k上，我们还消融了由现成分割模型Redmon et al., 2016, Carion et al., 2020产生的不同对象分割图。YOLORedmon et al., 2016和多模态ViTMaaz et al., 2022, MAVL提供类无关分割图，每张图像可能包含多个不同对象。
5 实验
我们的主要目标是学习对下游任务有用的视觉表征。首先，我们选择图像级表征任务：ImageNet-1k（IN1k）上的标准自监督基准测试Chen et al., 2020, Caron et al., 2021, Zhou et al., 2021, Oquab et al., 2023，即使用k-NN分类器或线性探测（LP）在冻结特征上进行分类。由于IN1k图像旨在以对象为中心，即包含单个主要对象，该任务也可视为评估我们对象级表征的对象级任务。其次，我们选择补丁级任务来研究对象级蒸馏如何影响补丁级表征：上下文场景理解，也称为密集最近邻检索Balazevic et al., 2024, Lebailly et al., 2023。
表1：ImageNet-1k上的k-NN和线性探测（LP）准确率。 "使用掩码"指推理时是否向模型提供真实ImageNet掩码。为获得"DINO/iBOT+掩码"结果，我们将掩码注意力融入公开可用的检查点。
| 模型 | 骨干网络 | 参数量 | 训练轮数 | 预训练数据 | 使用掩码 | k-NN | LP |
|---|---|---|---|---|---|---|---|
| ViT-Small | |||||||
| DINO | ViT-S/16 | 21M | 800 | IN1k | ✗ | 74.5 | 77.0 |
| iBOT | ViT-S/16 | 21M | 800 | IN1k | ✗ | 75.2 | 77.9 |
| ODIS | ViT-S/16 | 21M | 800 | IN1k | ✗ | 75.9 | 78.2 |
| DINO+掩码 | ViT-S/16 | 21M | 800 | IN1k | ✓ | 75.6 | 79.0 |
| iBOT+掩码 | ViT-S/16 | 21M | 800 | IN1k | ✓ | 76.2 | 80.1 |
| ODIS+掩码 | ViT-S/16 | 21M | 800 | IN1k | ✓ | 78.5 ↑3.2 | 81.1 ↑3.2 |
| ViT-Base | |||||||
| DINO | ViT-B/16 | 85M | 400 | IN1k | ✗ | 76.1 | 78.2 |
| iBOT | ViT-B/16 | 85M | 400 | IN1k | ✗ | 77.1 | 79.5 |
| ODIS | ViT-B/16 | 85M | 400 | IN1k | ✗ | 78.3 | 80.5 |
| DINO+掩码 | ViT-B/16 | 85M | 400 | IN1k | ✓ | 77.6 | 80.3 |
| iBOT+掩码 | ViT-B/16 | 85M | 400 | IN1k | ✓ | 78.6 | 81.6 |
| ODIS+掩码 | ViT-B/16 | 85M | 400 | IN1k | ✓ | 80.9 ↑3.8 | 83.2 ↑3.8 |
| ViT-Large | |||||||
| iBOT | ViT-L/16 | 307M | 250 | IN1k | ✗ | 78.0 | 81.0 |
| ODIS | ViT-L/16 | 307M | 250 | IN1k | ✗ | 79.6 | 81.6 |
| iBOT+掩码 | ViT-L/16 | 307M | 250 | IN1k | ✓ | 79.9 | 82.5 |
| ODIS+掩码 | ViT-L/16 | 307M | 250 | IN1k | ✓ | 82.6 ↑4.6 | 84.6 ↑3.6 |
| DINOv2 | |||||||
| DINOv2-Dis. | ViT-S/14 | 21M | - | LVD-142M | ✗ | 79.0 | 81.1 |
| DINOv2-Dis. | ViT-B/14 | 85M | - | LVD-142M | ✗ | 82.1 | 81.4 |
| DINOv2-Sc. | ViT-L/14 | 307M | - | IN22k | ✗ | 82.0 | 84.5 |
| DINOv2-Dis. | ViT-L/14 | 307M | - | LVD-142M | ✗ | 83.5 | 86.3 |
| DINOv2-Sc. | ViT-g/14 | 1.1B | - | LVD-142M | ✗ | 83.5 | 86.5 |
5.1 标准自监督基准：IN1k上的分类
为了衡量冻结对象表征的质量，我们遵循IN1k上的标准自监督基准。我们在测试时冻结ViT（教师）骨干网络，并使用冻结的视觉特征构建简单分类器。标准分类器是k-NN和线性探测。我们遵循DINOCaron et al., 2021、iBOTZhou et al., 2021和DINOv2Oquab et al., 2023使用的评估设置，即(i)对k-NN分类器的模型选择扫描k值，(ii)对线性分类器的模型选择扫描学习率。
图4： 一个示例输入，使用推理时掩码的ODIS和iBOT注意力图，以及检索到的最近邻。尽管使用了对象掩码，iBOT错误地关注了手，而ODIS关注了正确的目标对象------橄榄球，展示了优越的对象级表征。
场景1：推理时分割掩码可用 我们从模型在推理时可以访问分割掩码的场景开始。比较表1中带绿色对勾的行可以发现，ODIS明显优于DINO和iBOT。对于k-NN，与iBOT相比的性能增益为：(i) ViT-S为+2.3，(ii) ViT-B为+2.3，(iii) ViT-L为+2.7（我们注意到iBOT相对于DINO平均仅提高+0.9）。视觉演示请参见图4。
接下来，我们与DINOv2Oquab et al., 2023进行比较，这是自监督学习基准的当前金标准。DINOv2在iBOT基础上引入了十项算法和优化改进，策划了1.42亿图像的高质量数据集，并将模型扩展到11亿参数。我们的实验表明，ODIS在k-NN分类准确率上超越了在IN22k上训练的DINOv2 ViT-L模型+0.6个百分点。虽然在推理时应用分割掩码可能会提升DINOv2的性能，但ODIS同样有望从扩大模型和数据规模以及相同的算法改进中受益。由于我们完全复现DINOv2 ViT-L结果的尝试未成功，我们将使用DINOv2风格改进来增强ODIS作为未来工作的有希望方向。
场景2：推理时无分割掩码 接下来我们将注意力转向这个更传统的基准测试场景。表1中带红色叉号的行显示，ODIS再次以显著优势超越DINO和iBOT。这意味着我们的骨干网络学习了比DINO和iBOT泛化更好的更丰富表征。我们注意到，更大的模型从将我们的思想融入训练中获益更多。
分割掩码通过隔离对象特定表征来改善模型评估。
图7展示了当输入图像是复杂场景或包含多个潜在目标对象时，基于iBOT预训练ViT的 CLSCLSCLS 令牌的最近邻检索失败的示例。在所有情况下，检索到的图像在语义上相似但标签不同，导致在IN1k单标签协议下的错误匹配。最后一层注意力图揭示模型关注了多个显著对象，突出了嵌入捕获了混合的对象语义。这种纠缠损害了检索评估，特别是当场景中存在多个合理对象时。为解决这个问题，我们提倡在推理时使用分割掩码来隔离单个对象表征，实现对预训练模型更忠实和可解释的评估。
5.2 场景中心数据上的自监督预训练
表2：场景中心预训练的k-NN ImageNet-1k。 所有模型大小为ViT-S/16，21M参数。"M."指推理时是否向模型提供真实ImageNet掩码。
| 模型 | 训练轮数 | 预训练数据 | M. | k-NN |
|---|---|---|---|---|
| DINO | 300 | Coco | ✗ | 36.9 |
| CRIBO | 300 | Coco | ✗ | 38.2 |
| iBOT | 300 | Coco | ✗ | 41.8 |
| iBOT+M. | 300 | Coco | ✓ | 43.9 |
| ODIS+M. | 300 | Coco | ✓ | 46.0 ↑4.2 |
在本节中，我们验证了对象级蒸馏目标更好地扩展到更复杂的场景中心数据集（如COCO）的假设。我们使用DINO、iBOT和ODIS目标在COCO数据集（11.8万张图像）上预训练具有21M参数的ViT-S/16模型。我们冻结预训练模型，并在冻结特征之上构建k-NN分类器，类似于第5.1节。我们观察到与第5.1节类似的趋势：(i) IN1k上的k-NN性能（+4.2）相比iBOT显著提高，(ii) 在推理时使用掩码对iBOT的性能有改善（+1.7）。
5.3 补丁级任务：密集最近邻检索
我们使用密集最近邻检索任务评估补丁级表征的有用性Balazevic et al., 2024，该任务将标准图像级自监督基准扩展到补丁。与k-NN分类类似，每个补丁通过聚合参考补丁记忆库中的标签来获得标签，但这里的最终预测使用交叉注意力权重而非简单的距离度量。详细任务描述和评估设置见附录D.1。我们在两个分割基准上报告平均交并比（mIoU）：PASCAL VOCEveringham et al., 2015和ADE20kZhou et al., 2017，总结于表3。
结果。 我们看到ODIS补丁表征相比iBOT在所有数据集、所有子采样因子和所有模型大小上都有显著的mIoU性能增益。在PASCAL VOC上子采样因子为1时，与iBOT相比的性能增益为：(i) ViT-S为+1.2，(ii) ViT-B为+2.2，(iii) ViT-L为+4.0。在ADE20k上子采样因子为1时，与iBOT相比的性能增益为：(i) ViT-S为+1.0，(ii) ViT-B为+2.6，(iii) ViT-L为+2.0。
HummingbirdBalazevic et al., 2024和CRIBOLebailly et al., 2023在该任务上提供了最佳性能，因为其学习目标主要关注增加跨图像补丁级对应。然而，其补丁级性能是以更差的图像级表征为代价的。在表2中，我们展示了在COCO上预训练的CRIBO的IN1k k-NN准确率显著低于iBOT和ODIS。此外，对于ADE20k上的ViT-B模型大小，我们看到ODIS的mIoU与CRIBO的mIoU相当，同时超越了Hummingbird的mIoU。
表3：密集最近邻检索任务。 我们预测上下文分割标签并报告mIoU。模型在场景中心数据集COCO或以对象为中心的数据集IN1k上预训练。模型分为两组：(i) 补丁级组包含Hummingbird和CRIBO，其目标主要关注增加跨图像补丁级对应，专门针对密集最近邻检索任务；(ii) 高级组包含MAE、DINO、iBOT和ODIS，其目标关注图像级或对象级表征。
| 模型 | 骨干 | 参数 | 预训练 | 轮数 | PASCAL VOC 1/128 | 1/64 | 1/8 | 1/1 | ADE20k 1/128 | 1/64 | 1/8 | 1/1 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 场景中心 | ||||||||||||
| 补丁级 CRIBO | ViT-S | 21M | Coco | 300 | 39.1 | 44.0 | 52.8 | 58.1 | 10.9 | 12.8 | 18.4 | 23.4 |
| 高级 DINO | ViT-S | 21M | Coco | 300 | 16.2 | 18.4 | 25.5 | 31.9 | 6.1 | 6.9 | 9.7 | 13.0 |
| MAE | ViT-S | 21M | Coco | 300 | 8.5 | 9.3 | 12.2 | 15.9 | 3.7 | 4.1 | 5.4 | 6.8 |
| iBOT | ViT-S | 21M | Coco | 300 | 37.3 | 39.5 | 47.3 | 54.7 | 10.2 | 12.2 | 16.7 | 21.3 |
| ODIS | ViT-S | 21M | Coco | 300 | 42.7 | 43.6 | 51.8 | 57.7 ↑3.0 | 11.2 | 13.1 | 17.7 | 22.4 ↑1.1 |
| 对象中心 | ||||||||||||
| 补丁级 CRIBO | ViT-S | 21M | IN1K | 800 | 52.7 | 59.3 | 69.3 | 73.2 | 13.7 | 16.5 | 23.2 | 28.3 |
| 高级 DINO | ViT-S | 21M | IN1K | 800 | 24.5 | 28.7 | 38.7 | 46.1 | 9.4 | 10.6 | 14.6 | 18.4 |
| iBOT | ViT-S | 21M | IN1K | 800 | 34.6 | 41.1 | 54.7 | 62.1 | 11.9 | 13.9 | 18.8 | 23.1 |
| ODIS | ViT-S | 21M | IN1K | 800 | 35.5 | 41.6 | 55.6 | 63.3 ↑1.2 | 12.1 | 14.2 | 19.3 | 24.1 ↑1.0 |
| 补丁级 Humming. | ViT-B | 85M | IN1K | 300 | 50.5 | 57.2 | - | 70.5 | 11.7 | 15.1 | - | 28.3 |
| CRIBO | ViT-B | 85M | IN1K | 400 | 50.5 | 60.3 | 70.8 | 74.9 | 13.2 | 16.5 | 23.6 | 30.0 |
| 高级 DINO | ViT-B | 85M | IN1K | 400 | 29.2 | 34.7 | 47.2 | 54.9 | 11.1 | 12.6 | 17.6 | 22.0 |
| MAE | ViT-B | 85M | IN1K | 1600 | 6.0 | 6.5 | 8.9 | 13.8 | 2.7 | 3.0 | 4.0 | 5.3 |
| iBOT | ViT-B | 85M | IN1K | 400 | 41.1 | 47.4 | 60.6 | 67.8 | 14.8 | 17.1 | 22.9 | 27.4 |
| ODIS | ViT-B | 85M | IN1K | 400 | 43.1 | 49.7 | 63.1 | 70.0 ↑2.2 | 16.2 | 18.8 | 25.1 | 30.0 ↑2.6 |
| iBOT | ViT-L | 307M | IN1K | 250 | 41.1 | 46.7 | 60.8 | 68.6 | 15.8 | 18.3 | 24.4 | 29.0 |
| ODIS | ViT-L | 307M | IN1K | 250 | 44.6 | 51.2 | 65.4 | 72.6 ↑4.0 | 17.1 | 19.7 | 26.1 | 31.0 ↑2.0 |
5.4 消融实验
表4：不同对象分割图的消融研究。
| 模型 | 分割器 | k-NN |
|---|---|---|
| iBOT+M. | - | 76.2 |
| ODIS+M. | YOLO | 76.8 |
| ODIS+M. | MAVL | 77.1 |
| ODIS+M. | 真实标注 | 78.5 |
我们消融了损失组件、局部裁剪配置、对象采样策略和现成分割掩码方法（详见附录E）。总结而言，我们发现：(i) 排除图像级损失提高了我们的准确率；(ii) 局部裁剪从整张图像中随机抽取；(iii) 更频繁地采样较大对象产生更好的结果；(iv) 使用现成工具提取分割图进行预训练仍然提高了k-NN准确率（表4）。所有模型为ViT-S/16，在IN1k上预训练800个epoch。它们使用对应分割器提供的对象掩码进行预训练，同时在推理时使用真实对象图。
6 结论
在这项工作中，我们探索了用于预训练视觉基础模型的对象级自蒸馏（ODIS）。我们在实验上表明，ODIS学习了在图像级和补丁级基准测试上都对下游任务有用的通用视觉表征；它在图像级和补丁级基准测试上显著改善了下游任务性能，超越了基线图像级蒸馏方法，同时缩小了与大规模DINOv2模型的差距。我们的对象级蒸馏假设对象分割掩码可用，这一能力随着现代分割模型的发展即使对于未策划的数据集也变得越来越可行。此外，如果模型在单次前向传播中蒸馏多个对象，网络效率可以得到改善。在未来工作中，我们计划将方法扩展到更大的模型规模（如ViT-g）和更大的数据集（如IN22k及更大）。
参考文献
此处省略完整参考文献列表，与原文一致
附录A 扩展相关工作
现代分割模型。 为了实现对象级自蒸馏，模型必须定位图像中的单个对象。当真实分割图可用时（例如在ImageNetDeng et al., 2009或COCOLin et al., 2014中），我们可以直接利用它们。即使没有此类标注，由于现代分割模型Liu et al., 2024, Kirillov et al., 2023, Ravi et al., 2024在场景中心数据集上展示了强大的零样本分割能力，这一步骤也变得越来越可行Rubinstein et al., 2025。利用这些模型获取分割掩码使我们能够在更广泛的数据集上应用对象级蒸馏，即使是不太精细的数据集。
以对象为中心的学习方法。 以对象为中心的学习（OCL）方法Burgess et al., 2019, Locatello et al., 2020, Seitzer et al., 2022, Didolkar et al., 2025也旨在发现图像中的类对象结构，通常通过无监督对象分割来评估性能。然而，现代分割基础模型Kirillov et al., 2023在零样本场景中优于当前的OCL方法Rubinstein et al., 2025，使得OCL是否对广泛的视觉任务有用变得不确定。以对象为中心的表征进一步被认为捕获了对视觉推理任务有用的组合结构Ding et al., 2021, Mamaghan et al., 2024，但其学习表征在视觉推理和分割之外的可迁移性仍不清楚，因为学习表征的质量未在标准基准上进行测试。相比之下，我们的工作专注于学习在标准自监督基准（如ImageNet的k-NN分类）上直接有用的对象级表征。通过将对象级蒸馏与分割掩码结合，我们桥接了OCL和大规模自监督的见解，我们预期由此产生的表征也将对OCL相关任务有用。
附录B 与其他掩码建模框架和图学习的联系
与BERT、掩码图像建模、掩码自编码器的联系 使用视觉Transformer的掩码图像建模从NLP中的掩码语言建模中汲取灵感Devlin et al., 2018，其中被掩码的词从其周围上下文中预测。在视觉中，类似的策略已被应用：模型基于邻近内容预测被掩码的图像补丁He et al., 2022, 掩码自编码器或离散视觉令牌Bao et al., 2021, BEiT，产生了高效的生成框架。自监督方法如iBOTZhou et al., 2021和DINOv2Oquab et al., 2023使用掩码补丁预测结合蒸馏目标扩展了这一思想。
尽管取得了经验上的成功，这些视觉模型与其文本对应物有根本性差异：语言模型预测有意义且离散的单位如词或子词令牌，而掩码视觉模型通常预测任意补丁，这些补丁通常是对象的不可识别部分甚至是背景。此外，文本分词器越来越多地与语言单位（音节或词）对齐，而视觉缺乏这种语义锚定的单位。在这项工作中，我们通过提出对象------视觉场景的自然语义单位------作为预测目标来弥补这一差距。类似于语言中的词，图像中的对象为表征学习提供了连贯、可解释的单位。
与图和子图池化的联系 我们可以将每张图像视为完全连接图，其中节点表示补丁，节点表征对应补丁嵌入。在这种视角下，通过 CLSCLSCLS 令牌的图像级蒸馏对应于从所有节点池化图级表征。这是一个难以解决的任务。通过 OBJOBJOBJ 令牌的对象级蒸馏对应于池化子图级表征，其中子图通过分割图定位。这是一个更简单的子任务，与场景中心图像的交叉熵损失更好地对齐。
附录C 实现细节
ViT。 我们遵循先前工作Caron et al., 2021, Zhou et al., 2021，使用不同大小的视觉TransformerDosovitskiy et al., 2020：ViT-Small/16、ViT-Base/16和ViT-Large/16作为视觉骨干网络 b(⋅)b(\cdot)b(⋅)，补丁大小为16。我们基于iBOTZhou et al., 2021的代码库构建。如通常做法，我们使用2个大小为 224×224224 \times 224224×224 的全局裁剪和10个大小为 96×9696 \times 9696×96 的局部裁剪。教师仅处理2个全局裁剪作为输入，而学生处理所有裁剪。我们使用共享的MLP头来预测图像级和补丁级概率向量，输出维度为8192。
预训练设置。 我们在COCOLin et al., 2014和ImageNet-1k（IN1k）Deng et al., 2009上预训练模型。为保持结果可比性，我们遵循Lebailly et al., 2023中COCO和Zhou et al., 2021中IN1k使用的训练设置。对于COCO数据集，我们预训练ViT-S/16共300个epoch。对于IN1k数据集，我们预训练ViT-S/16共800个epoch，ViT-B共400个epoch，ViT-L共250个epoch。我们使用随机块掩码，对50%的全局裁剪掩码 p∼U0.1,0.5p \sim U0.1, 0.5p∼U0.1,0.5 的补丁Zhou et al., 2021。
附录D 实验细节
D.1 密集最近邻检索
该任务将标准图像级SSL基准扩展到补丁Balazevic et al., 2024。
任务描述。 对于训练集，每张图像被划分为 HWHWHW 个补丁，记录补丁-标签对 (pi,yi)i=1HW⋅Ntrain(p_i, y_i){i=1}^{HW \cdot N{train}}(pi,yi)i=1HW⋅Ntrain，其中 yiy_iyi 通过对补丁 pip_ipi 内的像素标签进行平均池化获得。我们使用冻结的ViT骨干网络 bt(⋅)b_t(\cdot)bt(⋅) 将每个补丁 pip_ipi 编码为特征向量 ki=bt(pi)k_i = b_t(p_i)ki=bt(pi)，并以不同的子采样因子 {1,8,64,128}\{1, 8, 64, 128\}{1,8,64,128} 将这些特征-标签对的子集存储在记忆库 M={(ki,yi)}M = \{(k_i, y_i)\}M={(ki,yi)} 中。
在测试时，对于验证集中的每个查询补丁 pjp_jpj，我们：
- 编码 pjp_jpj 得到 qj=bt(pj)q_j = b_t(p_j)qj=bt(pj)，
- 使用交叉注意力（softmax归一化）计算 qjq_jqj 与 MMM 中所有特征的相似度，
- 通过对 MMM 中top-k匹配标签的加权平均来预测补丁标签 y^j\hat{y}_jy^j，其中每个标签由其注意力分数加权。
测试图像所有补丁的预测标签 y^j\hat{y}_jy^j 被拼接，然后通过双线性插值上采样到原始图像大小，产生最终分割图。
评估设置。 遵循Balazevic et al. 2024、Lebailly et al. 2023，我们在场景中心数据集COCO（11.8万张图像）和以对象为中心的数据集IN1k（128万张图像）上预训练ODIS和iBOT。我们将最大记忆库大小 ∣M∣|M|∣M∣ 固定为10,240,000，并扫描 k∈{30,50}k \in \{30, 50\}k∈{30,50}。
D.2 计算资源和运行时间比较
表6：运行时间比较。 在2个节点（每节点4× AMD MI250x，世界大小为16）上预训练ViT-S在IN1k上1个epoch。
| 模型 | 批大小 | 每epoch时间 |
|---|---|---|
| DINO | 1024 | 10:28 |
| iBOT | 1024 | 10:34 |
| ODIS | 1024 | 15:25 |
在本节中，我们报告使用的计算资源并提供我们的方法ODIS与DINOCaron et al., 2021和iBOTZhou et al., 2021的运行时间比较。我们在ImageNet-1kDeng et al., 2009上使用ViT-S骨干网络预训练所有模型一个epoch。对于预训练ViT-S，我们使用2个节点，每个节点包含4× AMD MI250x GPU。每个GPU有2个计算芯片，世界大小为 2×4×2=162 \times 4 \times 2 = 162×4×2=16。对于预训练ViT-B和ViT-L模型，我们分别使用4个和8个节点。
ODIS产生了可忽略的内存开销，因为它仅为每个大小为 H×W×DH \times W \times DH×W×D 的全局视图添加一个形状为 H×W×1H \times W \times 1H×W×1 的对象分割掩码，其中 HHH 和 WWW 是垂直和水平轴上的补丁数量，DDD 是嵌入维度。我们在表6中报告了ViT-S的运行时间比较。
虽然ODIS目前在预训练期间比iBOT慢，但我们预期随着未来数据加载中对象采样过程的优化，性能将会改善，我们将其留作未来工作。
附录E 消融实验
表5：预训练设计选择的影响。 我们使用IN1k上的k-NN测试对象表征，使用PASCAL VOC上的mIoU测试补丁表征。PMLC：局部裁剪的补丁掩码。OALC：对象感知局部裁剪。MALC：使用对象注意力掩码的局部裁剪掩码注意力。"使用掩码"和"M."指在推理时使用对象分割掩码进行IN1k上的k-NN分类。
| 模型 | 骨干 | 轮数 | 预训练 | 使用掩码 | k-NN | mIoU |
|---|---|---|---|---|---|---|
| DINO | ViT-S | 300 | COCO | ✗ | 36.9 | 30.5 |
| iBOT | ViT-S | 300 | COCO | ✗ | 41.8 | 51.0 |
| iBOT+掩码 | ViT-S | 300 | COCO | ✓ | 43.9 | 51.0 |
| 损失组件 | ||||||
| ODIS+掩码+Li\mathcal{L}_iLi | ViT-S | 300 | COCO | ✓ | 44.5 | 51.0 |
| ODIS+掩码 | ViT-S | 300 | COCO | ✓ | 46.0 | 54.9 |
| 局部裁剪配置 | ||||||
| ODIS+PMLC+OALC+MALC | ViT-S | 300 | COCO | ✗ | 39.1 | 54.8 |
| +掩码 | ViT-S | 300 | COCO | ✓ | 40.1 | 54.8 |
| - PMLC | ViT-S | 300 | COCO | ✓ | 41.4 | 54.0 |
| - OALC | ViT-S | 300 | COCO | ✓ | 42.6 | 54.6 |
| - MALC（=ODIS+掩码） | ViT-S | 300 | COCO | ✓ | 46.0 | 54.9 |
| 对象采样 | ||||||
| ODIS+掩码+随机采样 | ViT-S | 300 | COCO | ✓ | 45.3 | 54.9 |
| ODIS+掩码+按面积随机采样 | ViT-S | 300 | COCO | ✓ | 46.0 | 54.9 |
接下来，我们列出消融研究的发现。由于计算限制，我们主要在COCO上消融我们的方法，按照Lebailly et al. 2023预训练ViT-S共300个epoch。我们在表5中报告这些结果。此外，我们在IN1k中使用外部掩码进行预训练消融，并在表4中报告结果。
损失组件。 我们实验了是否包含辅助图像级项 Li\mathcal{L}_iLi。移除它提高了补丁级准确率，且对象级指标基本不变，因此 Li\mathcal{L}_iLi 在最终目标中被省略。
局部裁剪配置。 最佳对象表征产生于：(i) 局部裁剪的令牌关注所有裁剪补丁；(ii) 裁剪本身从通用的、上下文丰富的区域中抽取，而非对象感知窗口。
对象采样。 在COCO上，按面积比例采样对象在对象级评估上比均匀采样产生小而一致的优势，补丁级评估性能相似。
外部掩码。 我们使用两个现代分割模型生成对象边界框：YOLORedmon et al., 2016和MAVLMaaz et al., 2022。它们都在COCO数据集上训练，提供多对象、类无关的边界框。我们在每次前向传播中按面积比例采样对象。即使分割器模型的训练分布与目标IN1k分布不完全匹配，使用YOLO和DETR生成的边界框分别将k-NN top-1准确率提高了+0.4和+0.9（相比iBOT基线），报告于表4。然而，k-NN性能进一步受益于更高质量的真实标注图。
图5： 图4的扩展版本，可视化了所有注意力头。
图6： 展示iBOT尽管使用掩码注意力仍然失败的额外示例。
图7： 展示在多个对象存在时，iBOT如何无法检索到具有正确类标签的最近邻的示例。我们建议通过使用指定感兴趣目标对象的分割掩码来解决此问题。