摘要
https://arxiv.org/abs/2610.23279
多模态大语言模型（MLLM）能够很好地回答关于整幅图像的问题，但在细粒度区域理解上仍存在困难。一个关键原因在于，纯文本监督从未指明哪些区域支撑了答案。为弥补这一空白，我们提出 Xiaomi-Lens-0，这是一个基于 Qwen3.5 构建的 4B MLLM，它从自身的视觉表征预测掩码。具体而言，一个轻量级解码器将视觉编码器的图像块特征与语言模型的掩码标记状态（称为视觉隐状态）相结合，从而使掩码监督无需额外的分割编码器即可作用于共享主干网络。由于每个隐状态都可解码为一个掩码，模型能够将推理与针对特定区域的隐状态交织在一起，从而以视觉隐状态进行思考；与此同时，定位推理轨迹会监督思维链过程中所引用的中间区域。因此，在 RefCOCO、RefCOCO+ 与 RefCOCOg 的全部八个划分上，Xiaomi-Lens-0 的指称理解相较 Qwen3.5 平均提升 5.6 个点，并在所比较的模型中取得了最高的分割 cIoU。此外，它在所有感知基准上都超过了 Qwen3.5。
🌐 主页：https://seerray-lab.github.io/Xiaomi-Lens-0/
图 1 Xiaomi-Lens-0 在六个任务上的示例：指称表达理解、指称表达分割、多实例定位、推理分割、具身指称与细粒度感知。模型以边界框或掩码定位目标，并回答关于计数、属性与空间关系的问题。
1 引言
视觉定位将自然语言表达与图像区域关联起来，是多模态大语言模型（MLLM）的一项基础能力 1, 79，支撑具身智能 28 与多模态智能体系统 6, 12。具体而言，指称表达理解（REC）与指称表达分割（RES）直接评测定位能力，分别要求模型以边界框或像素级掩码的形式输出被指称的目标。除这些任务外，关于目标计数、属性与空间关系的视觉问题同样依赖于定位：回答这些问题需要精确定位所引用的区域并感知其视觉细节 54, 59。
然而，当前的 MLLM 在细粒度区域理解上仍存在困难，常常数错邻近目标，或误判小区域的属性 23, 45。我们将此归因于纯文本监督：在这种监督下，图像仅作为条件输入，训练信号完全来自文本答案。此类监督并未明确指定哪些图像区域支撑了该答案，也未说明这些区域的范围有多大。相比之下，分割掩码通过标注哪些像素属于被指称区域，提供了明确的空间目标 17，因而成为区域范围的直接监督来源。
尽管面向 RES 的现有 MLLM 39, 60, 75 已经采用掩码监督进行训练，但其中大多数从额外的编码器获取用于掩码预测的空间细节：LISA 18 与 Sa2VA 71 依赖一个分层分割编码器 17, 40，Qwen3-VL-Seg 66 则融合来自一个轻量级补充图像编码器的多尺度特征。另一些方法从 MLLM 自身的视觉特征解码掩码：PixelLM 41 从其视觉编码器的多个层解码，MLLMSeg 50 将浅层视觉编码器特征与语言模型的视觉词元融合。然而，两者都保持视觉编码器冻结，因此掩码损失无法传导到共享视觉特征。此外，这两条路线都把掩码监督视为实现分割的手段，且主要在 RES 与定位任务上评测，尚未探究它是否也能提升细粒度感知与视觉推理。因此，我们研究密集掩码监督能否通过要求 MLLM 从自身的视觉表示预测掩码，来提升细粒度感知与视觉推理。
在本报告中，我们提出 Xiaomi-Lens-0，这是一个基于 Qwen3.5 37 构建的 4B MLLM，它直接从自身的视觉表示预测区域掩码，从而将像素级监督引入到与语言生成共享的主干网络中。具体而言，模型从其视觉编码器 10 的图像块网格中读取空间特征，这些特征取自空间合并器之前，且无需额外的分层视觉编码器或多尺度特征融合。为指定目标区域，模型生成一个特殊的掩码标记 18，其上下文状态被称为视觉隐状态，用于表示指令所请求的、或前序回答所引用的区域。一个轻量级掩码解码器将该视觉隐状态与共享视觉特征结合，以预测相应的掩码。语言与掩码联合训练会同时更新共享视觉特征以及用于识别目标区域的语言模型状态，从而使感知与语言生成所使用的表示获得关于区域范围的显式监督。
在该架构中，掩码解码器同时充当视觉隐状态解码器。这使 MLLM 能够将文本推理与针对特定区域的视觉隐状态交织在一起 21, 65，每个视觉隐状态都被解码为一个掩码，从而将相应的推理证据显式地定位到图像中。我们将这一形式称为用视觉隐状态进行思考。为训练这一能力，我们构建了定位推理轨迹 26, 42，将中间的区域引用与掩码配对，并对文本回答与解码掩码进行联合监督。这就把像素级监督扩展到思维链（CoT）55 中所引用的中间区域，使其空间范围变得明确，并可通过解码掩码进行检视。
我们在六个任务上评测 Xiaomi-Lens-0（图 1）：REC、RES、多实例定位、推理分割、具身指称与细粒度感知。在 RefCOCO、RefCOCO+ 67 与 RefCOCOg 30, 33 的全部八个划分上，它相较其 Qwen3.5 主干提升了 REC，平均增益为 5.6 个点，并在每个 RES 划分上取得了所比较模型中最高的累积交并比（cIoU）。对于 COCO 2017 24 上的多实例定位，它在 0.50 至 0.95 的交并比（IoU）阈值上取得的平均 F1 同样最高。除空间预测之外，它在每个感知基准上都优于其主干。为在现有基准很少覆盖的条件下评测指称，我们还构建了 LensBench，它将显式与隐式指令同单目标与多目标交叉组合，覆盖通用、航拍、驾驶与全景图像，且每一配对单元都经过人工审核，以保证目标完整性与指令--掩码一致性（第 3.3 节）。在航拍、驾驶与全景领域，Xiaomi-Lens-0 在所比较模型中取得了最高的 cIoU，尽管隐式指令仍具挑战性，尤其是在全景场景中选择多个目标时。最后，消融实验表明，定位推理轨迹进一步提升 REC 与 RES 分数。
我们的主要贡献可归纳如下：
● 从共享视觉表示进行掩码预测。我们提出 Xiaomi-Lens-0，这是一个 4B MLLM，它从自身视觉编码器的图像块网格（取自空间合并器之前）以及其语言模型产生的视觉隐状态解码区域掩码，无需额外的分层视觉编码器或多尺度特征融合。因此，语言与掩码联合训练可直接在共享于语言生成的表示中监督区域范围。
● 用视觉隐状态进行思考。我们将文本推理与视觉隐状态交织在一起，掩码解码器将其映射为掩码，并构建定位推理轨迹，将像素级监督扩展到 CoT 中的中间区域。
● LensBench。我们提出一个经人工审核的指称基准，它在四个视觉领域中把单目标与多目标同显式与隐式指令配对，从而能够在不同指令语义下对目标选择与掩码预测进行配对比较。
● 掩码监督也能提升感知能力。除上述空间性能提升之外，Xiaomi-Lens-0 在每个细粒度感知基准上都优于其 Qwen3.5 主干。此外，消融实验表明，在框监督之外加入掩码监督，可进一步提升所评测的全部三个通用感知基准，以及 RefCOCO、RefCOCO+ 与 RefCOCOg 的 REC 验证划分。
2 方法
Xiaomi-Lens-0 直接基于自身的视觉表征预测掩码，因此掩码监督必须作用于支撑语言生成的同一批特征与状态。如图 2 所示，共享视觉编码器将合并后的词元提供给语言模型，并将其图像块级特征网格提供给一个轻量级掩码解码器。解码器将该网格与来自语言模型的、针对特定区域的视觉隐状态相结合，联合训练则将掩码损失反向传播到二者之中。我们首先论证从共享编码器进行解码的动机（第 2.1 节），随后描述模型架构与联合目标（第 2.2 节），通过用视觉隐状态进行思考将掩码预测扩展到中间区域（第 2.3 节），并给出两阶段训练方案（第 2.4 节）。
2.1 从共享视觉特征进行掩码预测
掩码预测需要能够描述区域范围的空间特征，以及一个用于确定目标的查询。在 LISA 和 Sa2VA 中，空间特征来自一个额外的层次化分割编码器，而 Qwen3-VL-Seg 则融合来自一个附加图像编码器的多尺度特征。在这些设计下，MLLM 自身的视觉表征无需编码掩码损失所监督的区域细节。为了直接监督共享表征，我们从一个在 MLLM 空间合并之前获得的单一图像块网格解码掩码，而不使用额外的编码器或多尺度融合。这一选择保留了编码器的图像块分辨率，并为掩码损失提供了一条通往用于语言生成的视觉特征的直接路径。
Vision Transformer（ViT）10 的图像块网格提供了具有空间索引的特征，这些特征通过覆盖整幅图像的注意力得到增强。其残差结构将最终表征表示为初始图像块特征加上逐次变换的累加：
xl=xl−1+Fl(xl−1),xL=x0+∑l=1LFl(xl−1)(1)x_l = x_{l-1} + F_l(x_{l-1}), \quad x_L = x_0 + \sum_{l=1}^L F_l(x_{l-1}) \quad (1)xl=xl−1+Fl(xl−1),xL=x0+l=1∑LFl(xl−1)(1)
其中 x0x0x0 包含初始图像块特征，FlF_lFl 是第 lll 层的残差变换。恒等映射 x_l−1x\_{l-1}x_l−1 使较早层产生的细粒度信号不会被更高层的语义抽象。相反，这些信号在网络中传播并累积到 xLx_LxL，因此最终表征保留了一条通往输入图像的高互信息通路。
LongCat-Next 将这一性质形式化为固有信息恢复，并通过将冻结编码器与一个轻量级像素解码器配对来加以检验 31。具体而言，带有残差通路的语义编码器在未接受任何重建监督的情况下仍能重建粗略的图像结构，而且一个随机初始化的 ViT 甚至比其预训练对应模型重建得更好，这表明可恢复性源自网络结构，而非学习到的语义。此外，QwenViT 1 在没有其空间合并模块时，表现得就像一个保持单一图像块分辨率的普通 ViT，仍能恢复粗略的图像结构，而合并模块则会因为激进的降采样丢弃细粒度的高频细节而降低保真度。由于图像块网格是在合并之前取得的，它保留了掩码预测所需的空间结构，同时仍属于编码器共享计算的一部分。因此，我们将这一图像块级网格馈送给掩码解码器，并用来自语言模型的、针对特定区域的上下文状态对其进行查询，从而让单一共享网格支持多个掩码预测。
2.2 模型架构
2.2.1 共享视觉特征与视觉隐状态
语言生成与掩码预测以相同的图像编码为起点。给定一幅图像 I∈R3×H×WI ∈ R3×H×WI∈R3×H×W，视觉编码器 EvE_vEv 产生一个图像块特征的空间网格，为记号方便我们将其展平：
V0=Ev(I)=v1,...,vNp∈RNp×dv,Np=hvwv(2)V_0 = E_v(I) = v_1, \\dots, v_{N_p} \in \mathbb{R}^{N_p \times d_v}, \quad N_p = h_v w_v \quad (2)V0=Ev(I)=v1,...,vNp∈RNp×dv,Np=hvwv(2)
其中 (hv,wv)(h_v, w_v)(hv,wv) 表示图像块网格分辨率。遵循 Qwen3.5 主干网络 37，一个 s×ss×ss×s 的空间合并模块将相邻的图像块特征分组，视觉投影器 φφφ 将合并后的特征映射到语言模型宽度 dld_ldl：
V=ϕ(Merges(V0))∈RNv×dl,Nv=Np/s2(3)V = \phi(\text{Merge}_s(V_0)) \in \mathbb{R}^{N_v \times d_l}, \quad N_v = N_p / s^2 \quad (3)V=ϕ(Merges(V0))∈RNv×dl,Nv=Np/s2(3)
自回归语言模型将合并后的词元 VVV 与系统词元、用户词元一起处理。在解码步 ttt，语言模型头将上下文状态 ht∈Rdlh_t ∈ R^{d_l}ht∈Rdl 映射为下一词元预测。
为了标记每个待掩码解码的区域，我们在输出词表中加入一个特殊的 <|mask|> 标记。对于其在响应位置 tkt_ktk 处的第 kkk 次出现，我们取上下文状态 mk=h_tk∈Rdlm_k = h\_{t_k} ∈ R^{d_l}mk=h_tk∈Rdl 作为视觉隐状态。该标记的身份在各次出现间是共享的，但每个状态都依赖于图像、指令以及先前的响应，因此它表示指令所请求的、或先前的响应所提及的区域。一个响应可以包含多个掩码标记，每个都为一个独立的掩码提供查询。
2.2.2 掩码解码
掩码解码器为所请求的目标对网格 V0V0V0（公式 2）中的每个图像块打分。一个轻量级 Transformer 层首先利用全局视觉上下文对这些特征进行细化，随后一个线性投影将每个图像块映射到宽度为 dmd_mdm 的掩码特征空间：
F=Pv(Tmask(V0))=f1,...,fNp∈RNp×dm(4)F = P_v(T_{\text{mask}}(V_0)) = f_1, \\dots, f_{N_p} \in \mathbb{R}^{N_p \times d_m} \quad (4)F=Pv(Tmask(V0))=f1,...,fNp∈RNp×dm(4)
接下来，我们将掩码标记状态投影到同一空间，qk=Pm(mk)∈Rdmq_k = P_m(m_k) ∈ R^{d_m}qk=Pm(mk)∈Rdm，并将其用作作用于各图像块位置的动态分类器。它与图像块 ppp 的兼容性为
zk,p=qkTfpdm,p=1,...,Np(5)z_{k,p} = \frac{q_k^T f_p}{\sqrt{d_m}}, \quad p = 1, \dots, N_p \quad (5)zk,p=dm qkTfp,p=1,...,Np(5)
最后，我们将 NpN_pNp 个得分重新组装回原始图像块布局，并施加两个转置卷积层以生成密集的掩码 logit 图。施加 sigmoid 得到
M^k=σ(Umask(Reassemblehv,wv(zk)))∈0,1H×W(6)\hat{M}k = \sigma(U{\text{mask}}(\text{Reassemble}_{h_v, w_v}(z_k))) \in 0, 1^{H \times W} \quad (6)M^k=σ(Umask(Reassemblehv,wv(zk)))∈0,1H×W(6)
其中 U_maskU\_{mask}U_mask 是两层上采样头，σσσ 是 sigmoid 函数。由于所有区域共享相同的图像特征，我们对每幅图像只计算一次 FFF，并为每个视觉隐状态复用它，仅改变查询 qkq_kqk。除共享视觉编码器之外，解码器仅由一个 Transformer 细化层、两个线性投影和一个两层上采样头组成。
2.2.3 语言与掩码的联合监督
像素级掩码监督为每个视觉隐状态提供了一个明确的目标区域。对于一个含有 KKK 个受监督 <|mask|> 出现位置的训练样本，第 kkk 个出现位置与一个二值目标掩码 MkM_kMk 配对。掩码目标函数结合了逐像素二元交叉熵与 Dice 损失 32：
Lmask=1K∑k=1KλbceLbce(M\^k,Mk)+λdiceLdice(M\^k,Mk)(7)L_{\text{mask}} = \frac{1}{K} \sum_{k=1}^K \left \\lambda_{\\text{bce}} L_{\\text{bce}}(\\hat{M}_k, M_k) + \\lambda_{\\text{dice}} L_{\\text{dice}}(\\hat{M}_k, M_k) \\right \quad (7)Lmask=K1k=1∑KλbceLbce(M\^k,Mk)+λdiceLdice(M\^k,Mk)(7)
其中 λ_bceλ\{bce}λ_bce 和 λ_diceλ\{dice}λ_dice 为两项分配权重。交叉熵项监督各个像素，Dice 项监督区域重叠。将掩码目标函数加入下一词元预测损失，得到联合目标函数：
L=Lntp+Lmask(8)L = L_{\text{ntp}} + L_{\text{mask}} \quad (8)L=Lntp+Lmask(8)
在联合训练期间，掩码损失经由 FFF 传播到视觉编码器，并经由 mkm_kmk 传播到语言模型，而 L_ntpL\_{ntp}L_ntp 监督响应序列。因此，区域范围必须被编码在共享图像特征以及用于确定目标的上下文状态之中。由于文本答案正是从这些相同的表征生成的，掩码监督同样能够提升细粒度感知，如第 4.4 节所示。
2.3 用视觉隐状态进行思考
由于每个视觉隐状态都是语言模型的一个上下文状态，掩码解码器还能对推理过程中产生的视觉隐状态进行解码。具体而言，在用视觉隐状态进行思考时，响应将文本推理与放置在区域引用处的 <|mask|> 标记交错在一起。每个标记的上下文状态表示前文所讨论的区域，解码器将该状态映射为共享图像网格上的一个掩码。例如，一段计数轨迹可以以每个各带一个视觉隐状态的方式逐一列举各个实例；空间比较则可以为被比较的物体分别分配视觉隐状态。每个隐状态都与一个明确的图像区域相关联。
我们使用将区域引用与目标掩码配对的定位推理轨迹来监督这些中间区域（第 3.2 节）。下一词元损失监督推理文本、空间引用与最终答案，而掩码损失监督每个已标注区域的范围。公式 8 中的联合目标函数同时对最终分割目标与 CoT 中的中间区域进行监督。
在推理期间，掩码解码是与自回归生成并行的输出分支：后续文本以图像和先前的响应词元为条件，且没有裁剪区域或区域特征被反馈给语言模型。因此，解码出的掩码使中间陈述背后所指的区域变得可检查，而训练则将像素级监督扩展到表示这些区域的状态。
2.4 训练方案
我们分两个阶段训练。阶段 1 预训练掩码解码器，将冻结的表征映射到区域；阶段 2 联合微调主干网络与解码器。图 3 概述了数据混合情况。内部数据（详见第 3 节）为指称表达目标和定位推理轨迹中的中间区域提供掩码。
2.4.1 阶段 1：掩码解码器预训练
我们冻结预训练主干，仅用公式 7 优化掩码解码器，使其学会从固定的图像特征与视觉隐状态中解码出区域。该训练混合集将内部数据与覆盖物体、部件和指称表达的公开数据源相结合，包括 Objects365 43、LVIS 13、PACO 38、PhraseCut 57、RefCOCO、RefCOCO+ 与 RefCOCOg。在联合适配之前，这些数据源使解码器接触到不同尺度、不同具体程度的区域。
2.4.2 阶段 2：监督微调
随后我们解冻主干，用公式 8 优化完整模型。语言损失监督响应序列，掩码损失则同时更新共享视觉特征与视觉隐状态。数据方面，我们将内部的指称表达与定位推理样本同 COCO 2017、RefCOCO、RefCOCO+、RefCOCOg、RoboRefIt 28 以及 ReasonSeg 18 结合起来。
3. 数据管道
数据管道提供第 2 节中使用的两种形式的区域监督。具体而言，指代表达数据将指令与最终目标掩码配对，以监督 REC 和 RES 输出（第 3.1 节），而接地推理数据将掩码附加到 CoT 中间步骤中引用的区域，以监督"使用视觉潜变量进行思考"（第 3.2 节）。两个管道在接受 accompanying 语言之前都会固定或验证区域注释。然后我们介绍 LensBench（第 3.3 节），它评估指令语义、目标基数和视觉领域变化时的目标选择和区域范围。
3.1 指代表达训练数据
指代表达数据为 REC 和 RES 提供明确的区域目标。我们首先为每个候选对象建立边界框和掩码，然后生成描述它的指令，最后验证每个指令是否选择了注释区域（图 4）。在指令合成之前固定目标，允许同一对象的多个描述共享单个空间注释。
3.1.1 视觉接地
我们通过对象发现和裁剪级验证建立候选区域。给定图像 III，对象发现返回带有简短描述 did_idi 的边界框 bib_ibi。在生成掩码或指令之前，裁剪-文本检查 Vcrop(X,t)∈{0,1}V_{\text{crop}}(X, t) \in \{0, 1\}Vcrop(X,t)∈{0,1} 根据图像裁剪验证每个描述。接受的候选为：
CI={(bi,di)∈D(I)∣Vcrop(Crop(I,bi),di)=1}(9)C_I = \{(b_i, d_i) \in D(I) \mid V_{\text{crop}}(\text{Crop}(I, b_i), d_i) = 1\} \quad (9)CI={(bi,di)∈D(I)∣Vcrop(Crop(I,bi),di)=1}(9)
其中 D(I)D(I)D(I) 是发现的框-描述对集合。对于每个 (bi,di)∈CI(b_i, d_i) \in C_I(bi,di)∈CI，掩码生成产生 Mi=S(I,bi,di)∈{0,1}H×WM_i = S(I, b_i, d_i) \in \{0, 1\}^{H \times W}Mi=S(I,bi,di)∈{0,1}H×W。
3.1.2 指令合成
我们从目标外观及其场景上下文生成指代指令。对于每个保留的目标，掩码视图 I~i=I⊙Mi\tilde{I}_i = I \odot M_iI~i=I⊙Mi 保留目标像素并将背景设置为黑色。然后生成器接收该视图以识别引用对象，并接收原始图像以描述其与周围对象的关系：
Qi={qij}j=1Ki=G(I,I~i)(10)Q_i = \{q_{ij}\}_{j=1}^{K_i} = G(I, \tilde{I}_i) \quad (10)Qi={qij}j=1Ki=G(I,I~i)(10)
其中 KiK_iKi 是为目标 iii 生成的表达式数量。表达式通过位置、外观、动作、功能或与相邻对象的对比来识别目标。简洁的描述、否定和数量引用进一步使措辞多样化，同时保留单个注释目标。
3.1.3 一致性过滤
我们保留在定位和意义上与目标一致的指令。在原始图像中重新接地每个 qijq_{ij}qij 必须恰好返回一个框 R(I,qij)={bij′}R(I, q_{ij}) = \{b'{ij}\}R(I,qij)={bij′}，其与候选框的 IoU 达到阈值。此外，单独的检查 Vref(I,I~i,qij)∈{0,1}V{\text{ref}}(I, \tilde{I}i, q{ij}) \in \{0, 1\}Vref(I,I~i,qij)∈{0,1} 使用原始图像和掩码视图评估表达式是否唯一描述了目标及其上下文关系。在 IoU 阈值 τ\tauτ 下，保留的指令为：
Q~i={qij∈Qi∣R(I,qij)={bij′},IoU(bi,bij′)≥τ,Vref(I,I~i,qij)=1}(11)\tilde{Q}i = \{q{ij} \in Q_i \mid R(I, q_{ij}) = \{b'{ij}\}, \text{IoU}(b_i, b'{ij}) \ge \tau, V_{\text{ref}}(I, \tilde{I}i, q{ij}) = 1\} \quad (11)Q~i={qij∈Qi∣R(I,qij)={bij′},IoU(bi,bij′)≥τ,Vref(I,I~i,qij)=1}(11)
语义检查筛选对附近实例或目标中不存在的属性的引用，补充了框重叠标准。对于每个保留的指令，最终框是掩码的紧密边界框 box(Mi)\text{box}(M_i)box(Mi)。 resulting 样本 (I,qij,box(Mi),Mi)(I, q_{ij}, \text{box}(M_i), M_i)(I,qij,box(Mi),Mi) 将同一引用对象与框和像素级监督配对。
3.2 接地推理数据
接地推理数据监督"使用视觉潜变量进行思考"中使用的中间区域（第 2.3 节）。它们针对激发本工作的区域级失败，例如数错附近对象和误认小区域属性。每个视觉问答（VQA）示例将图像和问题与推理轨迹、最终答案以及轨迹区域引用的掩码配对。我们首先合成问答对，独立验证答案，然后构建带有掩码注释区域引用的轨迹（图 5）。因此，空间训练信号从最终分割目标扩展到推理轨迹中讨论的区域。
3.2.1 问答合成
我们合成关于计数、属性和空间关系的问题，每个问题都需要感知特定区域。在筛选图像和可用区域注释后，我们为保留的框分配临时 ID，以便问题可以区分相似实例或跨区域组合信息。MLLM 生成具有多选或数字答案的问答对，为精确匹配验证提供通用格式。
3.2.2 问答验证
我们在生成推理轨迹之前验证答案。基于规则的过滤器移除格式错误、重复选项、近似重复的问题以及泄露答案的措辞；然后打乱多选选项以移除位置线索。接下来，独立检查器从图像中回答每个剩余问题，而不看参考答案，仅在问题命名区域时接收区域提示。当其预测选项标签或数值与参考答案完全匹配时，我们保留该对。最终示例使用原始图像，仅保留问题中命名区域的 ID 标记。
3.2.3 轨迹生成与掩码标注
我们生成明确引用每个中间步骤讨论的图像区域的推理轨迹。对于每个验证的对，推理模型生成候选轨迹，将文本与 <bbox> 引用交错并以答案结束。我们保留具有有效框引用且答案匹配验证参考的完整轨迹。当多个轨迹通过时，我们选择最短的以限制冗余；没有通过轨迹的对被丢弃。
轨迹选择后，每个接受的框引用与现有实例掩码配对，或在不可用时由 SAM 3 生成的掩码配对。当其紧密边界框与引用框之间的 IoU 超过阈值时，我们接受该掩码，并在引用后附加 <|mask|> token。其上下文状态成为通过公式 7 由该掩码监督的视觉潜变量。
3.3 LensBench
RefCOCO 等指代基准将每个表达式与日常照片中的单个目标配对，通常命名目标的类别。为了评估更广泛的指代条件，LensBench 检查当指令间接描述目标、请求多个实例或来自不同视觉领域时，目标选择和掩码预测如何变化。它涵盖通用、航空、驾驶和全景图像，每个领域 300 个完整评估单元。每个单元将一张图像与两个目标掩码和四个指令配对，交叉单/多目标与显式/隐式措辞（图 7）。该基准包含 1,200 个配对单元和 4,800 个指令级样本。
3.3.1 基准设计
每个单元将请求的实例数量与描述方式分开。单指令选择一个实例，多指令选择至少两个不同实例。显式指令命名类别并通过属性、关系或数量指定目标集。隐式指令通过功能、目的或常识关系描述目标，省略类别和直接同义词，使得选择需要图像支持的推理。
对于图像 III，设 GGG 为同一类别的目标实例集合，∣G∣≥2|G| \ge 2∣G∣≥2，并设 f∈Gf \in Gf∈G 为可区分的焦点实例。目标掩码为：
Msingle=Mf,Mmultiple=⋁i∈GMi(12)M_{\text{single}} = M_f, \quad M_{\text{multiple}} = \bigvee_{i \in G} M_i \quad (12)Msingle=Mf,Mmultiple=i∈G⋁Mi(12)
其中 ⋁\bigvee⋁ 表示逐像素逻辑 OR。我们为每个掩码生成一个显式和一个隐式指令，从同一图像产生四个评估样本。两种指令类型在每个基数内共享相同的真实掩码，从而实现配对比较。
3.3.2 基准构建
我们在生成指令之前固定目标实例和掩码。候选注释遵循第 3.1.1 节中的视觉接地程序；实例管理验证身份和可见范围并解决重复问题。掩码以其原始分辨率使用无损游程编码存储。
在每个图像内，我们按类别对可计数实例进行分组。每个组必须包含其预期范围内的每个可见实例，没有不相关对象或重复的物理实例。然后我们选择一个焦点实例 f∈Gf \in Gf∈G 并在生成指令之前固定两个目标掩码。生成器接收原始图像、包含焦点实例及其周围环境的裁剪，以及目标元数据：
Qu={quj}j=14=G(I,Crop(I,cf),zu)(13)Q_u = \{q_{uj}\}_{j=1}^4 = G(I, \text{Crop}(I, c_f), z_u) \quad (13)Qu={quj}j=14=G(I,Crop(I,cf),zu)(13)
其中 u=(I,G,f)u = (I, G, f)u=(I,G,f) 索引单元，cfc_fcf 扩展 box(Mf)\text{box}(M_f)box(Mf) 以包含周围上下文。索引 j=1,2,3,4j = 1, 2, 3, 4j=1,2,3,4 分别对应单-显式、单-隐式、多-显式和多-隐式。
3.3.3 一致性过滤
自动筛选检查掩码质量、指令语义以及与独立重新接地实例的一致性。掩码检查 Vmask(u)V_{\text{mask}}(u)Vmask(u) 评估身份和可见范围，检测重复物理实例，并验证单个掩码的并集。指令检查 Vref(u,q)V_{\text{ref}}(u, q)Vref(u,q) 使用单个和并集掩码评估措辞是否自然、独立、对目标集精确，并与其分配的显式或隐式条件一致。预期实例集为单目标 Gq={f}G_q = \{f\}Gq={f}，多目标 Gq=GG_q = GGq=G。
为了检查每个指令是否恢复预期目标，重新接地 R(I,q)R(I, q)R(I,q) 仅接收原始图像和指令，没有目标注释。其输出保留重复预测。我们将预测框与目标实例一对一匹配，最大化总 IoU，并将分配给实例 iii 的预测表示为 bqi′b'_{qi}bqi′。设 δq\delta_qδq 计数相同归一化预测框的对数。在 IoU 阈值 τ\tauτ 下，通过所有自动检查的指令为：
Q~u={q∈Qu∣∣R(I,q)∣=∣Gq∣,δq=0,mini∈GqIoU(box(Mi),bqi′)≥τ,Vmask(u)=1,Vref(u,q)=1}(14)\tilde{Q}u = \left\{q \in Q_u \mathrel{\Bigg|} |R(I, q)| = |G_q|, \delta_q = 0, \min{i \in G_q} \text{IoU}(\text{box}(M_i), b'{qi}) \ge \tau, V{\text{mask}}(u) = 1, V_{\text{ref}}(u, q) = 1 \right\} \quad (14)Q~u={q∈Qu ∣R(I,q)∣=∣Gq∣,δq=0,i∈GqminIoU(box(Mi),bqi′)≥τ,Vmask(u)=1,Vref(u,q)=1}(14)
当所有四个指令都通过时，单元通过自动筛选，即 Q~u=Qu\tilde{Q}_u = Q_uQ~u=Qu。不确定的判断和失败的请求被单独记录以通知人工审查。
最后，人工审查员对每个完整单元做出最终选择或修改决定。他们一起检查原始图像、单个实例掩码、两个目标掩码和所有四个指令，以检查目标完整性和指令-掩码一致性。只有完整的四样本单元进入 LensBench，保留配对比较。每个样本为 (I,q,box(Mq),Mq)(I, q, \text{box}(M_q), M_q)(I,q,box(Mq),Mq)，其中 Mq=⋁i∈GqMiM_q = \bigvee_{i \in G_q} M_iMq=⋁i∈GqMi 是指令 qqq 分配的掩码。
4. 实验
实验测试了第 1 节提出的问题：应用于从 MLLM 自身视觉表示预测的掩码的密集掩码监督，是否能改善细粒度感知和视觉推理。我们解决三个问题：(1) 空间预测：在没有额外空间特征编码器的情况下，Xiaomi-Lens-0 预测框和掩码的效果与使用额外编码器的方法相比如何？(2) 细粒度感知：收益是否扩展到以文本回答的计数、属性和空间关系问题？(3) 归因：掩码监督和接地推理轨迹各自贡献了什么？第 4.2 节在六项任务中解决前两个问题，第 4.3 节在 LensBench 上检查指令语义和视觉领域，第 4.4 节解决第三个问题。
4.1 评估设置
评估涵盖 REC、RES、多实例接地、推理分割、具身指代和细粒度感知。所有分数均为百分比，差异以百分点报告。主模型结果使用三个 Stage 2 检查点的等权平均，生成限制为 16,384 个 token。
- REC 和 RES：我们使用 RefCOCO 和 RefCOCO+ 的 val、TestA 和 TestB 分割，以及 RefCOCOg 的 val 和 test 分割。对于 REC，Prec@0.5 是预测框与目标框 IoU 至少为 0.5 的百分比。互补的框接地评估报告 IoU 阈值 0.50 和 0.95 处的 F1，以及从 0.50 到 0.95 步长 0.05 的平均 F1（F1@mIoU）。RES 在相同的八个分割上使用 cIoU。
- 多实例接地：COCO 2017 评估多个对象实例的定位。我们报告框 IoU 阈值 0.50 和 0.95 处的召回率、精确率和 F1，以及它们的 mIoU 聚合。
- 推理分割和具身指代：ReasonSeg 评估从依赖推理的指令中进行目标选择，RoboRefIt 评估具身场景中的指代表达。我们遵循 ReasonSeg 约定报告 ReasonSeg 和 RoboRefIt 上的 gIoU 和 cIoU，其中 gIoU 是平均每图像 IoU。
- 细粒度感知：MME-RealWorld（英文和中文）、CV-Bench 评估通用感知。V* 和 HR-Bench（4K 和 8K）评估高分辨率感知。CountQA 和 ColorBench 评估计数和颜色识别。所有感知分数衡量答案准确率，无框或掩码输出。
对于具有 NNN 个图像-指令对的二值预测和目标掩码 PiP_iPi 和 GiG_iGi 且并集非零，基准定义为：
gIoU=1N∑i=1N∣Pi∩Gi∣∣Pi∪Gi∣,cIoU=∑i=1N∣Pi∩Gi∣∑i=1N∣Pi∪Gi∣(15)\text{gIoU} = \frac{1}{N} \sum_{i=1}^N \frac{|P_i \cap G_i|}{|P_i \cup G_i|}, \quad \text{cIoU} = \frac{\sum_{i=1}^N |P_i \cap G_i|}{\sum_{i=1}^N |P_i \cup G_i|} \quad (15)gIoU=N1i=1∑N∣Pi∪Gi∣∣Pi∩Gi∣,cIoU=∑i=1N∣Pi∪Gi∣∑i=1N∣Pi∩Gi∣(15)
其中 iii 索引图像-指令对。gIoU 对每对平等加权，而 cIoU 汇集整个数据集的像素交集和并集，因此对大目标加权更重。
在 LensBench 上，我们按指令类型和视觉领域报告掩码 cIoU 和 Prec@0.5。与 REC 不同，这里的 Prec@0.5 计算预测掩码与目标掩码 IoU 至少为 0.5 的对数。对于多目标，两个指标都使用预测和目标实例掩码的并集。
4.2 主要结果
4.2.1 指代表达理解 (REC)
Xiaomi-Lens-0 在所有八个 REC 分割集上的框定位均优于其 Qwen3.5 主干网络，平均提升 5.6 分（表 1）。特别是在 RefCOCO+ 上平均提升最大，为 7.6 分。RefCOCO+ 排除了绝对位置词，因此必须通过外观和属性来区分实例。
表 1 RefCOCO、RefCOCO+ 和 RefCOCOg 上的 REC 结果。分数为 Prec@0.5（%，越高越好）。
| 方法 | RefCOCO (Val/TestA/TestB) | RefCOCO+ (Val/TestA/TestB) | RefCOCOg (Val/Test) |
|---|---|---|---|
| Qwen3.5 4B | 90.4 / 92.3 / 87.1 | 84.8 / 88.9 / 79.1 | 88.0 / 88.2 |
| Qwen3-VL-Seg 4B | 92.7 / 94.6 / 89.8 | 87.8 / 92.1 / 82.2 | 89.1 / 89.0 |
| Youtu-VL 4B | 93.6 / 95.2 / 90.8 | 90.1 / 93.9 / 85.4 | 92.2 / 92.9 |
| Xiaomi-Lens-0 4B | 94.6 / 96.2 / 92.3 | 92.1 / 94.9 / 88.5 | 92.5 / 92.4 |
跨 IoU 阈值的定位：在更严格的重叠阈值下，收益依然存在（表 2）。F1@mIoU 在 RefCOCO、RefCOCO+ 和 RefCOCOg 上分别达到 83.3、81.1 和 81.1，在对比模型中排名第一。在 IoU 0.95 处，相对于主干网络的提升幅度从 15.5 到 16.8 分不等。
表 2 跨 IoU 阈值的 REC 结果（F1@0.50, F1@0.95, F1@mIoU）。
| 方法 | RefCOCO | RefCOCO+ | RefCOCOg |
|---|---|---|---|
| Qwen3.5 4B | 90.1 / 29.1 / 74.5 | 84.1 / 27.8 / 69.5 | 88.4 / 27.0 / 71.6 |
| Xiaomi-Lens-0 4B | 94.6 / 44.6 / 83.3 | 92.1 / 43.6 / 81.1 | 92.5 / 43.8 / 81.1 |
4.2.2 指代表达分割 (RES)
RES 直接测试从共享 patch 级网格解码的掩码是否能匹配从额外编码器获取空间特征的方法。在此设置下，Xiaomi-Lens-0 在所有八个 RES 分割集上取得了所有对比模型中最高的 cIoU（表 3），平均 81.4，而最强基线 Qwen3-VL-Seg 4B 为 78.6。Xiaomi-Lens-0 也超越了专用分割模型 SAM 3 7.0 到 12.9 分。
表 3 RES 结果。分数为 cIoU（%，越高越好）。
| 方法 | RefCOCO (Val/TestA/TestB) | RefCOCO+ (Val/TestA/TestB) | RefCOCOg (Val/Test) |
|---|---|---|---|
| Qwen3-VL-Seg 4B | 82.3 / 83.7 / 79.1 | 76.2 / 80.2 / 70.8 | 78.2 / 78.1 |
| SAM 3 | 75.5 / 77.6 / 71.0 | 67.3 / 71.1 / 63.4 | 73.4 / 74.0 |
| Xiaomi-Lens-0 4B | 83.4 / 84.6 / 81.2 | 79.9 / 83.3 / 76.3 | 81.1 / 81.2 |
4.2.3 多实例接地
除了单目标指代，Xiaomi-Lens-0 还在 COCO 2017 上定位多个对象实例（表 4）。在 mIoU 聚合下，它取得了所有对比模型中最高的 F1，为 63.9。在严格的 IoU 0.95 阈值下，其 F1 为 27.4，超越了 GroundingPI 和 GroundingDINO。
表 4 COCO 2017 上的多实例接地结果。
| 方法 | IoU 0.50 (Rec/Prec/F1) | IoU 0.95 (Rec/Prec/F1) | mIoU (Rec/Prec/F1) |
|---|---|---|---|
| GroundingDINO | 79.6 / 83.2 / 81.4 | 24.7 / 28.1 / 26.3 | 61.1 / 63.7 / 60.6 |
| GroundingPI | 81.4 / 80.9 / 81.2 | 22.9 / 22.8 / 22.8 | 63.2 / 62.8 / 63.0 |
| Xiaomi-Lens-0 4B | 79.6 / 81.1 / 80.4 | 27.2 / 27.7 / 27.4 | 63.4 / 64.5 / 63.9 |
4.2.4 推理分割与具身指代
当指令通过功能或场景上下文识别目标时，目标选择变得更难。Xiaomi-Lens-0 在 ReasonSeg 的两个分割集上的 gIoU 和 cIoU 均领先（表 5）。在 RoboRefIt 的具身指代上，它也大幅超越了 InstructSAM。
表 5 ReasonSeg 上的推理分割和 RoboRefIt 上的具身指代。
| 方法 | ReasonSeg (Val gIoU/cIoU, Test gIoU/cIoU) | RoboRefIt (TestA gIoU/cIoU, TestB gIoU/cIoU) |
|---|---|---|
| InstructSAM Qwen3-VL-2B | 62.5 / 65.0, 61.1 / 61.0 | 82.5 / 58.4, 74.4 / 55.5 |
| Xiaomi-Lens-0 4B | 71.2 / 68.5, 68.0 / 62.5 | 87.0 / 88.4, 81.5 / 81.2 |
4.2.5 细粒度感知
为了测试收益是否扩展到空间输出之外，感知基准通过纯文本回答评估第 1 节中指出的区域级失败。Xiaomi-Lens-0 在表 6 的所有八个基准测试中均超越了其 Qwen3.5 4B 主干网络和其他对比开源模型。
- 计数和颜色识别 ：CountQA 准确率从 43.8 提升至 50.6（提升 6.8 分），ColorB 提升 1.7 分至 84.4。
- 通用和高分辨率感知：在 MME-RW-en、MME-RW-cn 和 CV-B 上分别提升 3.2、7.2 和 2.7 分。在高分辨率基准上，收益从 HR-4K 的 1.0 分到 V* 的 5.2 分不等。
表 6 通用和细粒度感知结果（答案准确率 %）。
| 方法 | MME-RW-en | MME-RW-cn | CV-B | V* | HR-4K | HR-8K | CountQA | ColorB |
|---|---|---|---|---|---|---|---|---|
| Qwen3.5 4B | 66.5 | 60.3 | 85.4 | 82.2 | 81.5 | 75.6 | 43.8 | 82.7 |
| Xiaomi-Lens-0 4B | 69.7 | 67.5 | 88.1 | 87.4 | 82.5 | 80.6 | 50.6 | 84.4 |
4.3 LensBench 结果
LensBench 检查指令语义和视觉领域变化时的区域预测。表 7 报告了按指令类型和领域划分的掩码 cIoU 和 Prec@0.5。
Xiaomi-Lens-0 在四个领域中的三个领域取得了所有对比模型中最高的 cIoU：航空 57.1，驾驶 68.6，全景 62.3。
跨指令类型来看，隐式指令仍然比显式指令更难。Xiaomi-Lens-0 在显式指令上以 71.4 cIoU 领先。但在隐式指令上，其 cIoU 降至 54.7。结合指令类型和基数来看，在全景图像上多目标隐式指令的性能下降尤为明显（Prec@0.5 从 81.3 降至 48.7）。
表 7 LensBench 按指令类型和视觉领域的边际结果。
| 方法 | 显式 cIoU | 隐式 cIoU | 通用 cIoU | 航空 cIoU | 驾驶 cIoU | 全景 cIoU |
|---|---|---|---|---|---|---|
| Qwen3.8-Max | 67.6 | 64.5 | 74.2 | 33.5 | 58.0 | 60.8 |
| GPT-5.6-Sol | 63.8 | 61.2 | 68.4 | 42.2 | 68.4 | 57.1 |
| Xiaomi-Lens-0 4B | 71.4 | 54.7 | 63.9 | 57.1 | 68.6 | 62.3 |
4.4 消融研究
消融将收益归因于第 2 节引入的两个组件。BBox-only 变体在相同的 Stage 2 数据上训练但禁用掩码损失，隔离像素级掩码监督。Grounding-only 变体保留掩码监督但省略接地推理数据，隔离"使用视觉潜变量进行思考"。
掩码监督与感知：仅使用框监督已经比主干网络改善了 REC 和感知（表 8）。在此框监督设置中添加掩码监督会进一步提高所有六项指标。
- 结论 1：掩码监督指定了超出边界框提供的目标范围，在必须通过外观消除目标歧义时帮助最大。其在通用感知基准上的收益表明它改善了共享视觉特征。
接地推理轨迹：仅接地训练已经产生了强大的指代性能（表 9）。在此基础上，完整模型添加了接地推理轨迹，监督"使用视觉潜变量进行思考"的中间区域。相对于 Grounding-only，其 RES 分数提高了 0.5 到 0.8 分。
- 结论 2：接地数据驱动了大部分指代收益，而接地推理轨迹主要锐化最终掩码。对 CoT 中的中间区域进行掩码监督同样有益于最终目标的预测。
表 8 REC 和通用感知上的空间监督消融。
| Stage 2 监督 (BBox/Mask) | RefCOCO | RefCOCO+ | RefCOCOg | MME-RW-en | MME-RW-cn | CV-B |
|---|---|---|---|---|---|---|
| 无 / 无 (主干) | 90.4 | 84.8 | 88.0 | 66.5 | 60.3 | 85.4 |
| 有 / 无 (BBox-only) | 93.5 | 89.7 | 90.2 | 68.8 | 66.1 | 87.9 |
| 有 / 有 (完整) | 94.6 | 92.1 | 92.5 | 69.7 | 67.5 | 88.1 |
表 9 REC 和 RES 上的训练数据消融。
| 数据 (接地/推理) | RefCOCO | RefCOCO+ | RefCOCOg | RefCOCO (cIoU) | RefCOCO+ (cIoU) | RefCOCOg (cIoU) |
|---|---|---|---|---|---|---|
| 无 / 无 (主干) | 90.4 | 84.8 | 88.0 | - | - | - |
| 有 / 无 (仅接地) | 94.5 | 91.5 | 92.0 | 82.7 | 79.1 | 80.6 |
| 有 / 有 (完整) | 94.6 | 92.1 | 92.5 | 83.4 | 79.9 | 81.1 |
5. 相关工作
MLLM 中的视觉接地
MLLM 通常通过在文本流中生成框坐标来接地语言。在这种接口下，空间监督仅通过坐标 token 到达模型，引用区域的范围是隐式的。Youtu-VL 将自回归监督扩展到视觉目标和语言。对于像素级接地，RES 通过要求引用目标的像素级掩码使区域范围显式化。
使用 MLLM 进行分割
大多数基于 MLLM 的分割系统从专用分割器获取空间特征（如 LISA, Sa2VA, Qwen3-VL-Seg）。另一条路线从 MLLM 自身的表示或输出接口推导空间预测（如 PixelLM, MLLMSeg），但通常保持视觉编码器冻结。为了研究空间预测之外的效果，Xiaomi-Lens-0 从共享视觉编码器的单个 patch 级网格解码掩码，并评估由此产生的监督是否也能改善通过文本回答衡量的细粒度感知。
接地与潜变量视觉推理
细粒度视觉推理通常需要超出全局图像描述的细节。为了捕获这些细节，一些工作通过裁剪、缩放等图像交互，或在推理中显式接地中间步骤。Thinking with visual latents 连接了这些方向：每个区域引用产生一个视觉潜变量，共享掩码解码器将其映射为掩码，该潜变量上的掩码损失更新主干网络。因此，中间区域获得像素级监督，并通过解码的掩码保持可检查。
6. 结论
我们提出了 Xiaomi-Lens-0，一个 4B MLLM，它从共享视觉编码器的 patch 级网格和视觉潜变量（生成的掩码 token 的语言模型状态）中解码区域掩码。掩码损失因此到达了用于语言生成的表示，而"使用视觉潜变量进行思考"将这种像素级监督扩展到接地 CoT 中命名的区域。
无需额外的空间编码器，Xiaomi-Lens-0 在所有八个 RES 分割集上取得了最高的 cIoU，在每个分割集上都比其 Qwen3.5 主干网络提升了 REC，并在 COCO 2017 上取得了多实例接地的最高阈值平均 F1 分数。此外，它在每个细粒度感知基准测试上都超越了主干网络；BBox-only 消融将 REC 和感知指标的进一步收益归因于掩码监督，接地推理进一步提高了 REC 和 RES 分数。在 LensBench 上，它在航空、驾驶和全景图像的 cIoU 上领先，尽管隐式指令仍然更难，尤其是在全景场景中的多目标选择。
附录
A 对话格式与示例
下面的示例说明了空间预测如何在响应中被序列化。一个 $$ 块包含边界框坐标，而一个掩码块包含特殊的 KaTeX parse error: Expected 'EOF', got '&' at position 1: &̲lt;|mask|> 标记。该标记处的上下文状态就是第 2.2 节中传递给解码器的视觉隐状态。
显式指令：边界框输出 服装描述直接确定了所请求的人物。响应在一个空的推理块之后返回单个边界框。
隐式指令：边界框与掩码输出 该指令指定了一种防护功能，要求模型推断目标类别。响应识别并描述所选的头盔，然后返回其边界框以及一个掩码标记，该标记的视觉隐状态表示该目标。
B 定性分析
这些定性示例把第 4 节的定量结果与目标选择、区域范围以及中间区域引用联系起来。定位示例展示了为所请求目标预测的边界框和掩码。作为对这些定位示例的补充，VQA 示例展示了用视觉隐状态进行思考如何使中间区域可被检视：推理轨迹中讨论的每一个区域都与其解码出的掩码以及最终答案相关联。对于这些 VQA 可视化，我们将存储的补全结果通过同一模型重放，以获得用于掩码解码的上下文状态。
指称表达定位与多目标定位 图 9 和图 10 展示了依据外观、动作、相对大小和空间关系进行的目标选择与区域勾画。掩码将所请求的实例与附近的物体区分开来，包括一块特定的水果切片和一头紧挨着另一头牛的牛。图 11 展示了多实例预测，其中各个边界框能够区分重复或重叠的物体，如碗中的橙子和架子上的冲浪板。
定位功能性描述 图 12 展示了依据功能性描述进行的目标选择，包括用于割草或为海鲜增添柑橘风味的物体。响应将每一项所请求的功能与可见的候选项联系起来。例如，航天器的推理轨迹在选定前景物体之前考虑了两个候选项，而礼品包装示例则返回了两个边界框。
杂乱场景中的目标选择 图 13 展示了在杂乱场景中把目标身份与属性或相对位置结合起来的指称请求。这些线索在附近物体中选出了一个杯子、一个饮料罐、一本书和一瓶清洁剂。具体而言，位置短语将所请求的杯子和清洁剂与同类别的其他实例区分开来，而掩码则勾画出被选中的物体。
空间比较与颜色识别 图 14 展示了与空间比较和颜色识别相关联的视觉隐状态。第一条推理轨迹先定位椅子和自行车，再比较它们的水平位置并选择答案 A。第二条在更宽广的场景中识别出一辆小型车辆，并选择答案 D，橙色。相同的颜色将每一次区域引用与其边界框和解码出的掩码联系起来，而放大的视图展示了这个小目标。
带实例引用的计数 图 15 展示了借助视觉隐状态进行逐实例计数。这些推理轨迹逐一列举了五块在空间上分离的攀爬石和六片叶子，其中若干片相互重叠，然后返回相应的计数。相同的颜色将每一个被列举的项与其预测的边界框和掩码联系起来，因此每个计数步骤背后的区域都可以被检视。