写在前面
欢迎大家关注Rocky的知乎：Rocky Ding
《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源：【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book，欢迎大家Star～
Rocky最新撰写的10万字AI Agent（AI智能体）深入浅出全维度解析文章： 深入浅出完整解析AI Agent（AI智能体）的核心基础知识
AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群 （涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识）欢迎大家加入：https://t.zsxq.com/33pJ0
大家好，我是Rocky。
1. 一句"我看到了"，需要怎样的证据
一个视觉模型能够回答"左边有五个攀岩点"，与它能够逐个指出这五个攀岩点，是两种不同的能力。前者可能来自局部观察，也可能来自语言先验；后者至少留下了可以检查的空间对象。对于机器人递物、图像编辑和视觉质检，这个差别直接决定下游系统能否执行。
Xiaomi-Lens-0 选择了一条很具体的路线：以 Qwen3.5-4B 为基础，把语言生成过程中的特殊 token 与像素掩码连接起来，并通过掩码损失共同训练视觉与语言主干。模型既能输出框，也能把一句话所指的区域分割出来；在带有区域标注的推理过程中，还可以逐步输出对应的掩码。
Rocky认为，这项工作的核心价值，是把"答案背后的空间指代"变成可监督、可输出、可复查的对象。 这给视觉模型增加了一个检验接口，但离"解释忠实反映内部因果推理"仍有距离。区域画得正确、答案回答正确、推理因果链真实，必须分别验证。
下面围绕共享表示、数据构建和评价设计展开。数值均来自公开论文及官方发布材料；本文没有运行模型训练或独立复现实验。
图1｜六类空间与感知任务。图像来自 Xiaomi-Lens-0 技术报告。
2. 同一个视觉主干，承担语义压缩与空间恢复
常见的多模态模型会先把图像编码为 patch 特征，再通过空间合并降低送入语言模型的 token 数。合并有利于控制上下文和计算量，却会提高像素级恢复的难度。若直接从高度压缩的语言输入重建边界，空间细节可能不够；若再引入一个完整的分割编码器，又会增加部署组件和跨模型对齐成本。
Xiaomi-Lens-0 复用视觉编码器在空间合并之前的 patch 网格。这个选择保留了较细的空间索引，并让语言分支与掩码分支共享视觉表示。推理时没有独立的 SAM 编码器，也没有再跑一次多尺度分割网络。
论文先用 Transformer 残差展开说明特征保留的动机：
式（1）：
x l = x l − 1 + F l ( x l − 1 ) , x L = x 0 + ∑ l = 1 L F l ( x l − 1 ) , \mathbf{x}{l}=\mathbf{x}{l-1}+\mathcal{F}{l}(\mathbf{x}{l-1}), \qquad \mathbf{x}{L}=\mathbf{x}{0}+\sum_{l=1}^{L}\mathcal{F}{l}(\mathbf{x}{l-1}), xl=xl−1+Fl(xl−1),xL=x0+l=1∑LFl(xl−1),
这里 F l \mathcal F_l Fl 是第 l l l 层的残差变换。需要谨慎理解：残差恒等式本身不能证明末层特征完整保存了所有低层纹理，也不能保证其可逆。分割可用性最终仍要由训练和实验支持。
对输入图像 I I I，视觉编码器 E v \mathcal E_v Ev 产生 N p = h v w v N_p=h_vw_v Np=hvwv 个 patch 表示，每个宽度为 d v d_v dv：
式（2）：
V 0 = E v ( I ) = v 1 , ... , v N p ∈ R N p × d v , N p = h v w v , \mathbf{V}^{0}=\mathcal{E}_{v}(I) = \\mathbf{v}_{1},\\ldots,\\mathbf{v}_{N_p} \in\mathbb{R}^{N_p\times d_v}, \qquad N_p=h_vw_v, V0=Ev(I)=v1,...,vNp∈RNp×dv,Np=hvwv,
经过倍率为 s s s 的空间合并，再投影到语言模型的特征维度 d l d_l dl，语言分支收到的 token 数降为 N v = N p / s 2 N_v=N_p/s^2 Nv=Np/s2：
式（3）：
V = ϕ ( Merge s ( V 0 ) ) ∈ R N v × d l , N v = N p / s 2 . \mathbf{V}=\phi\!\left(\operatorname{Merge}_{s}(\mathbf{V}^{0})\right) \in\mathbb{R}^{N_v\times d_l}, \qquad N_v=N_p/s^2. V=ϕ(Merges(V0))∈RNv×dl,Nv=Np/s2.
这两个张量承担不同职责。 V \mathbf V V 控制语言分支的序列长度， V 0 \mathbf V^0 V0 为输出掩码保留网格。共享编码器并不意味着两个分支必须使用完全相同的空间粒度。
图2｜合并前网格与语言掩码查询共同解码。图像来自 Xiaomi-Lens-0 技术报告。
2.1 一个 mask token 如何变成一张掩码
生成序列出现 <|mask|> 时，取该位置的上下文隐藏状态 m k = h t k \mathbf m_k=\mathbf h_{t_k} mk=htk。它包含图像、问题和此前已生成内容的影响，论文称之为 visual latent。经过线性映射得到区域查询 q k = P m ( m k ) \mathbf q_k=P_m(\mathbf m_k) qk=Pm(mk)。
视觉侧只需一次轻量 Transformer 精炼，再线性投影到共同的掩码维度 d m d_m dm：
式（4）：
F = P v ( T m a s k ( V 0 ) ) = f 1 , ... , f N p ∈ R N p × d m . \mathbf{F}=P_v\!\left(\mathcal{T}_{\mathrm{mask}}(\mathbf{V}^{0})\right) =\\mathbf{f}_1,\\ldots,\\mathbf{f}_{N_p} \in\mathbb{R}^{N_p\times d_m}. F=Pv(Tmask(V0))=f1,...,fNp∈RNp×dm.
同一张图的多个区域共享 F \mathbf F F；变化的是各个 mask token 对应的查询。查询与每个 patch 做缩放点积：
式（5）：
z k , p = q k T f p d m , p = 1 , ... , N p . z_{k,p}=\frac{\mathbf{q}_k^{\mathsf T}\mathbf{f}_p}{\sqrt{d_m}}, \qquad p=1,\ldots,N_p. zk,p=dm qkTfp,p=1,...,Np.
将兼容度重新排回 h v × w v h_v\times w_v hv×wv 网格，经两层转置卷积上采样，再用 sigmoid 得到像素概率：
式（6）：
M ^ k = σ ( U m a s k ( Reassemble h v , w v ( z k ) ) ) ∈ 0 , 1 H × W , \widehat{\mathbf{M}}k =\sigma\!\left( \mathcal{U}{\mathrm{mask}} \bigl(\operatorname{Reassemble}_{h_v,w_v}(\mathbf{z}_k)\bigr) \right) \in0,1^{H\times W}, M k=σ(Umask(Reassemblehv,wv(zk)))∈0,1H×W,
这条计算链解释了"语言条件分割"的含义：语言上下文决定寻找什么，空间网格决定到哪里寻找。轻量解码器把二者连接起来。它仍然需要为每个区域计算兼容度和掩码，因而输出实例数多时，解码与后处理成本都会上升；共享视觉特征并不等于无限数量目标免费。
2.2 掩码监督为什么可能改善问答
每个预测区域使用 BCE 与 Dice 损失，前者约束逐像素分类，后者约束区域重合：
式（7）：
L m a s k = 1 K ∑ k = 1 K λ b c e L b c e ( M \^ k , M k ) + λ d i c e L d i c e ( M \^ k , M k ) , \mathcal{L}{\mathrm{mask}} =\frac{1}{K}\sum{k=1}^{K} \left \\lambda_{\\mathrm{bce}}\\, \\mathcal{L}_{\\mathrm{bce}}(\\widehat{\\mathbf{M}}_k,\\mathbf{M}_k) + \\lambda_{\\mathrm{dice}}\\, \\mathcal{L}_{\\mathrm{dice}}(\\widehat{\\mathbf{M}}_k,\\mathbf{M}_k) \\right, Lmask=K1k=1∑KλbceLbce(M k,Mk)+λdiceLdice(M k,Mk),
总损失为下一 token 预测损失与掩码损失之和：
式（8）：
L = L n t p + L m a s k . \mathcal{L}=\mathcal{L}{\mathrm{ntp}} +\mathcal{L}{\mathrm{mask}}. L=Lntp+Lmask.
第一阶段冻结主干，仅预训练掩码解码器；第二阶段解冻进行联合微调。于是像素监督能够通过区域查询与视觉特征两条路径影响共享主干。理论上的作用机制是：模型在学习输出正确词句的同时，也需要区分这些词句对应的空间区域。
这是一种有根据的机制解释，尚不能直接等同于"所有问答增益都来自 mask loss"。数据构成、训练步数和推理样本也发生了变化，后面的消融才用于估计各部分贡献。
图3｜两阶段数据构成。图像来自 Xiaomi-Lens-0 技术报告。
3. 数据难点在于：一句话能否唯一落到一组像素
像素监督昂贵，并不只是因为画掩码耗时。自然语言的指代经常不唯一。"那辆车"可能对应多个目标；"适合榨汁的东西"需要功能知识；"所有红色物体"又涉及集合完整性。若用不可靠的文字描述配上精细掩码，模型会学到错误的语义---空间对应。
Xiaomi-Lens-0 的数据流程先建立视觉对象，再生成指令，最后重新检查指令能否回到这些对象。这种顺序把视觉锚点放在数据链条的前面。
3.1 分割指令：先确定区域，再生成表达
检测器 D \mathcal D D 提议框 b i b_i bi 和描述 d i d_i di；裁剪校验器确认描述与区域吻合，形成候选集合：
式（9）：
C I = { ( b i , d i ) ∈ D ( I ) | V c r o p ( Crop ( I , b i ) , d i ) = 1 } , \mathcal{C}I =\left\{(b_i,d_i)\in\mathcal{D}(I) \;\middle|\; \mathcal{V}{\mathrm{crop}}\bigl(\operatorname{Crop}(I,b_i),d_i\bigr)=1 \right\}, CI={(bi,di)∈D(I) Vcrop(Crop(I,bi),di)=1},
接着为目标生成掩码，利用原图与突出目标的视图 I ~ i \widetilde I_i I i 生成多种指代表达：
式（10）：
Q i = { q i j } j = 1 K i = G ( I , I ~ i ) , \mathcal{Q}i=\{q{ij}\}_{j=1}^{K_i} =\mathcal{G}(I,\widetilde I_i), Qi={qij}j=1Ki=G(I,I i),
指令还需要经过重新定位 R \mathcal R R、框 IoU 阈值及语义验证。单目标数据要求恰好找回一个目标：
式（11）：
Q ~ i = { q i j ∈ Q i | R ( I , q i j ) = { b i j ′ } , IoU ( b i , b i j ′ ) ≥ τ , V r e f ( I , I ~ i , q i j ) = 1 } . \widetilde{\mathcal{Q}}i =\left\{q{ij}\in\mathcal{Q}i \;\middle|\; \mathcal{R}(I,q{ij})=\{b'{ij}\}, \; \operatorname{IoU}(b_i,b'{ij})\geq\tau, \;\mathcal{V}{\mathrm{ref}}(I,\widetilde I_i,q{ij})=1 \right\}. Q i={qij∈Qi R(I,qij)={bij′},IoU(bi,bij′)≥τ,Vref(I,I i,qij)=1}.
这里的 τ \tau τ 是空间一致性阈值， V r e f \mathcal V_{\mathrm{ref}} Vref 检查上下文中的指代是否成立。其价值是同时控制"指到哪"和"说的是谁"。不过，如果生成器与验证器具有相似偏差，自动一致仍可能共同出错；过滤通过应理解为质量控制信号，不能当作绝对真值。
图4｜从视觉目标生成指代分割数据。图像来自 Xiaomi-Lens-0 技术报告。
3.2 推理数据：先验证答案，再补充可定位的过程
问答分支先做图像与区域筛选，构造选择题或数值题，再由独立检查器验证答案。通过后，推理模型生成带框引用的轨迹；流程要求轨迹完整、框有效、最终答案一致，并为中间区域补充掩码。对于多个合格轨迹，选取较短的通过版本。
这个设计避免把一条长而流畅的解释直接视为可靠训练目标。长度受控也有工程意义：训练和推理都不应该奖励没有新增证据的冗长过程。
但仍需区分训练与推理的依赖。数据生产可以使用 SAM 3 等外部模型生成掩码教师信号；部署时无需独立分割编码器，只说明推理结构的变化，并不意味着整个研究过程未借助外部分割系统。
图5｜答案校验与区域推理数据流程。图像来自 Xiaomi-Lens-0 技术报告。
4. "用 visual latents 思考"具体发生了什么
以逐个计数为例，模型可以输出第一个区域的指代、一个 mask token，再继续定位第二个区域，最后给出数量。mask token 的隐藏状态由已有上下文决定，解码器把它映射成图像区域。它让推理文本中的对象有了空间对应。
图6｜推理文本中的区域引用。图像来自 Xiaomi-Lens-0 技术报告。
这里必须划清一个重要边界：掩码解码是输出分支，生成的 mask、裁剪图和区域特征没有再次送回语言模型。 因此不能把它描述成"模型画出区域、重新看图、根据新视觉观测纠错"的工具闭环。后续文本会受到前面生成 token 的影响，但不会直接读取新解码的像素掩码。
这也解释了为什么可视化不能独自证明因果忠实性。如果把某个中间掩码替换或遮掉，并不一定改变后续答案，因为掩码本身没有回流。更有意义的研究是干预对应隐状态、改变原图证据、构造最小反事实样本，再观察答案是否按预期变化。
对于展示材料，还要区分在线完整推理与可视化回放。官方部分 VQA 展示会把已存储完成序列送回模型，恢复 mask token 状态后画出区域。这能帮助检查空间输出，但不能据此推断视频中的速度就是原始模型的端到端实时延迟。
5. LensBench 把"表达难度"从"目标变化"里分离出来
一般的分割榜单经常同时改变图像、目标、文字表达和目标数量，使性能下降的原因难以定位。LensBench 采用配对设计：先固定图像和目标掩码，再交叉改变单目标/多目标、显式/隐式表达。
共有 1,200 个配对单元，四个领域各 300 个：通用、航拍、驾驶和全景。每个单元四条指令，共 4,800 条指令级样本。不能把这 4,800 条当成彼此独立的 4,800 张图片。
单目标掩码使用焦点实例，多目标掩码使用集合内实例的并集：
式（12）：
M s i n g l e = M f , M m u l t i p l e = ⋁ i ∈ G M i , M_{\mathrm{single}}=M_f, \qquad M_{\mathrm{multiple}}=\bigvee_{i\in G}M_i, Msingle=Mf,Mmultiple=i∈G⋁Mi,
生成器利用原图、焦点裁剪和任务元信息 z u z_u zu，构造四条指令：
式（13）：
Q u = { q u j } j = 1 4 = G ( I , Crop ( I , c f ) , z u ) , \mathcal{Q}u =\{q{uj}\}_{j=1}^{4} =\mathcal{G}\bigl(I,\operatorname{Crop}(I,c_f),z_u\bigr), Qu={quj}j=14=G(I,Crop(I,cf),zu),
过滤还检查目标基数、未匹配差异 δ q \delta_q δq、逐实例框一致性以及掩码与语义验证；随后人工一起审阅同一单元中的四条指令与目标：
式（14）：
Q ~ u = { q ∈ Q u | ∣ R ( I , q ) ∣ = ∣ G q ∣ , δ q = 0 , min i ∈ G q IoU ( box ( M i ) , b q i ′ ) ≥ τ , V m a s k ( u ) = 1 , V r e f ( u , q ) = 1 } . \widetilde{\mathcal{Q}}u = \left\{ q\in\mathcal{Q}u \;\middle|\; \begin{aligned} &|\mathcal{R}(I,q)|=|G_q|, \quad \delta_q=0,\\ &\min{i\in G_q} \operatorname{IoU} \bigl(\operatorname{box}(M_i),b'{qi}\bigr) \geq\tau,\\ &\mathcal{V}{\mathrm{mask}}(u)=1, \quad \mathcal{V}{\mathrm{ref}}(u,q)=1 \end{aligned} \right\}. Q u=⎩ ⎨ ⎧q∈Qu ∣R(I,q)∣=∣Gq∣,δq=0,i∈GqminIoU(box(Mi),bqi′)≥τ,Vmask(u)=1,Vref(u,q)=1⎭ ⎬ ⎫.
配对设计的好处是可以追问：同样的目标，改成功能或关系描述后，模型损失了多少能力。若进一步计算置信区间，应按单元或图像进行聚类重采样，而非假定每条指令独立，避免低估不确定性。
图7｜配对单元与四类指令设计。图像来自 Xiaomi-Lens-0 技术报告。
5.1 指标名称相似，数学对象可能不同
论文使用的 gIoU 是逐图 IoU 的算术平均；cIoU 则汇总所有样本的交集与并集后做比值：
式（15）：
g I o U = 1 N ∑ i = 1 N ∣ P i ∩ G i ∣ ∣ P i ∪ G i ∣ , c I o U = ∑ i = 1 N ∣ P i ∩ G i ∣ ∑ i = 1 N ∣ P i ∪ G i ∣ , \mathrm{gIoU}=\frac{1}{N}\sum_{i=1}^{N} \frac{|P_i\cap G_i|}{|P_i\cup G_i|}, \qquad \mathrm{cIoU}=\frac{\sum_{i=1}^{N}|P_i\cap G_i|} {\sum_{i=1}^{N}|P_i\cup G_i|}, gIoU=N1i=1∑N∣Pi∪Gi∣∣Pi∩Gi∣,cIoU=∑i=1N∣Pi∪Gi∣∑i=1N∣Pi∩Gi∣,
P i P_i Pi 与 G i G_i Gi 分别为预测掩码和真值。这里的 gIoU 并非目标检测中包含最小包围区域惩罚项的 Generalized IoU。cIoU 对并集面积大的样本赋予更大隐含权重，两个分数回答的问题不同。
此外，REC 的 Prec@0.5 关注框 IoU 是否过阈值；多实例结果中的 F1@mIoU 是对 0.50 到 0.95、步长 0.05 的 IoU 阈值所对应的 F1 求均值，不是直接计算框的平均 IoU。把这些指标写成同一种"准确率"，会破坏比较的含义。
6. 结果的强项：定位更细，常识并未因此全面领先
Xiaomi-Lens-0 在 RefCOCO 系列八个划分的 REC 上，相对 Qwen3.5-4B 平均增加 5.6 个百分点，七个划分第一、一个第二。这说明针对区域的训练显著改变了空间输出能力，但比较范围仍是报告中列出的模型和设置。
表1｜八个划分上的REC。保留论文比较范围和指标定义。
较宽松的 IoU 阈值可能把粗略覆盖目标也计作成功。表2提高定位严格程度，帮助判断增益是否只是框"大致对了"。工程场景应依据用途选择阈值：点击一个大按钮与定位极小缺陷，容忍度完全不同。
表2｜更严格阈值下的框定位。保留论文比较范围和指标定义。
分割上，八个划分平均 cIoU 达到 81.4，高于比较中的 Qwen3-VL-Seg 78.6。需要牢记，这仍是与参评系统、特定数据划分和协议绑定的结果，不能泛化成任意图像上的分割保证。
表3｜八个划分上的RES。保留论文比较范围和指标定义。
COCO 多实例 grounding 的 F1@mIoU 为 63.9，对照 GroundingPI 为 62.98，约高 0.9 个百分点。细分指标表明，优势尤其与严格定位阈值下的表现有关，不能据此说所有召回指标都领先。部署计数系统时，漏检和重复实例都要单独统计。
表4｜COCO多实例完整指标。保留论文比较范围和指标定义。
ReasonSeg 和 RoboRefIt 把测试从直白的类别名称推进到隐式功能、关系与具身请求。模型在这些对比上表现较强，但"帮人选对物体"的静态指代仍未包含机械臂轨迹、抓取姿态、接触稳定性和碰撞约束。
表5｜ReasonSeg与RoboRefIt。保留论文比较范围和指标定义。
通用及细粒度感知均高于其 Qwen3.5-4B 起点。例如 CountQA 从 43.8 提高到 50.6，说明收益不局限于输出掩码本身。但 50.6 也提醒我们：目标可视化与计数可靠性之间还有很大空间。复杂图片的对象定义、遮挡和集合边界会继续影响结果。
表6｜通用与细粒度感知。保留论文比较范围和指标定义。
6.1 隐式指令仍然是明显弱点
LensBench 上，Xiaomi-Lens-0 显式指令 cIoU 为 71.4，隐式指令降至 54.7；隐式结果在所列模型中排第五，并非全面领先。通用域 63.9 也低于 Qwen3.8-Max 的 74.2；航拍、驾驶、全景分别为 57.1、68.6、62.3。
更细的切片中，全景多目标从显式到隐式，Prec@0.5 从 81.3 降为 48.7，cIoU 从 71.8 降为 48.9。这类退化非常接近真实产品问题：当用户不再直接给出对象名称，系统必须理解用途、关系或意图，再把它可靠地映射回多个实例。
表7｜LensBench指令类型与领域切片。保留论文比较范围和指标定义。
图8｜LensBench跨领域定性比较。图像来自 Xiaomi-Lens-0 技术报告。
图8展示不同领域中目标选择与掩码范围的差异。案例有助于理解错误形态，不能替代完整测试集的频率统计。要把它接入驾驶感知，也需要视频一致性、极端天气、时延和故障处理验证；这里的驾驶图像分割不是自动驾驶系统安全评估。
7. 消融实验支持怎样的因果解释
只看起点 Qwen3.5 与最终模型的差距，会把所有训练变化混在一起。空间监督消融比较了仅框训练与框加掩码训练：三个 REC 验证集从 93.5/89.7/90.2 提高到 94.6/92.1/92.5；表中的感知指标也继续上升。
表8｜框监督和掩码监督消融。保留论文比较范围和指标定义。
这支持"像素监督对共享表示有增益"的判断。不过，最终模型相对于原始主干的全部提升，不能全部归到掩码分支。仅框训练本身已经产生明显收益。
训练数据消融进一步比较仅 grounding 与加入带区域的 reasoning 数据。REC 从 94.5/91.5/92.0 到 94.6/92.1/92.5；RES 从 82.7/79.1/80.6 到 83.4/79.9/81.1。方向为正，幅度相对温和。
表9｜区域推理数据消融。保留论文比较范围和指标定义。
因此，合理结论是：空间训练、像素监督和区域推理数据分别有贡献，贡献大小要通过具体对照理解。论文没有给出足够证据，将全部增益概括成某一种"视觉思考"范式的独立胜利。
评测还涉及多个训练 checkpoint 的等权平均，正式模型采用三个第二阶段 checkpoint 的平均权重，生成长度上限为 16,384。复现者需要记录权重版本、采样设置和实际输出长度；最大生成长度只是配置上限，不是单样本固定消耗。
8. 从成功案例走到可交付接口
8.1 框与掩码应该分别验收
图9｜单目标框定位。图像来自 Xiaomi-Lens-0 技术报告。
图9覆盖外观、动作、相对大小和位置关系。框输出适合粗定位，但无法表达凹形轮廓、孔洞和紧贴对象边缘的区域。若下游是精细抠图，还需要掩码边界本身的检查。
图10｜单目标掩码定位。图像来自 Xiaomi-Lens-0 技术报告。
图10把同类指代任务推进到像素层。目标选对与边缘分准是两个维度，应分别统计：前者关乎语义，后者关乎几何质量。
图11｜多目标集合预测。图像来自 Xiaomi-Lens-0 技术报告。
重复实例进一步引入集合问题。图11中的对象列表需要验证数量、实例去重和类别一致性，不能只抽看最显眼的一个对象是否正确。
8.2 功能推理与具身指代各有失效条件
图12｜功能性隐式请求。图像来自 Xiaomi-Lens-0 技术报告。
图12给出的功能描述要求先理解物体用途，再选择目标。错误可能发生在知识判断，也可能发生在定位；把两者都归入"分割误差"会妨碍迭代。
图13｜具身指代与空间约束。图像来自 Xiaomi-Lens-0 技术报告。
图13结合类别、外观和位置，接近递物指令的输入形式。若真正用于执行，还需要把像素区域转换成相机坐标、三维几何和可执行动作。区域输出提供一个接口，动作成功则需要额外的系统证据。
8.3 可视化帮助排错，不能代替量化
图14｜高分辨率细粒度空间判断。图像来自 Xiaomi-Lens-0 技术报告。
高分辨率小目标会暴露预处理尺度的影响。应保留原始尺寸、缩放策略和坐标映射，检查显示出的框与模型实际处理的图是否一致。
图15｜逐实例计数及区域对应。图像来自 Xiaomi-Lens-0 技术报告。
逐实例计数的可视化可以发现重复引用和遗漏，但还需覆盖大量负例、遮挡例和边界模糊例。对于质检和库存盘点，值得增加"答案正确但掩码错误"与"掩码正确但计数错误"的交叉统计，防止单一准确率掩盖系统断点。
9. 对研究和产品团队，下一步应该验证什么
截至本次核验，官方已提供模型权重、推理实现、两阶段训练代码与示例数据，LensBench 也已公开；模型卡标注 Apache-2.0。复现入口比只发布演示更完整，但公开训练代码和示例数据并不自动等于全部内部训练语料已开放。具体资产还应按各自许可证和数据说明使用。
研究上，优先验证三个问题。第一，在相同数据量、训练预算和解码设置下，像素损失的增益能否跨领域保持。第二，中间区域与答案是否具有可干预的依赖，而不仅是事后看起来一致。第三，配对基准中的隐式指令下降，究竟主要来自语义选择还是边界恢复。
产品上，建议先从人可以快速纠错的环节切入：图像编辑选区、半自动标注、可复核的视觉问答。返回结构化对象时，保留目标描述、框、掩码与任务上下文；低可信或多解请求应允许澄清和人工选择。不要用一个漂亮的区域可视化隐藏不确定性。
成本上，4B 参数规模只是起点。还要计算输入图像 token、语言推理长度、区域数量、掩码分辨率、缓存复用与后处理传输。没有在相同硬件和输入分布上测量，就不能把"轻量解码器"换算成具体的实时帧率。
Rocky更看重的长期方向，是让多模态模型输出与任务证据共同进入工作流。文字答案提供解释，空间对象提供检查和编辑入口，业务状态决定执行是否成功。Xiaomi-Lens-0 已经把其中一段接口做得更清楚；它下一阶段的竞争力，要看这个接口能否在陌生领域、隐式请求和真实失败样本上稳定工作。
推荐阅读
1. 深入浅出完整解析AI Agent（AI智能体）的核心基础知识
2025年可以说是AI Agent全面落地应用的元年，因此Rocky在持续撰写对AI Agent的全维度解析文章：
深入浅出完整解析AI Agent（AI智能体）的核心基础知识
2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解，同时不断跟进补充扩散模型的最新技术发展，希望能给大家带来帮助：
深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
3. 入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识
Rocky对AIGC时代"中场时刻"之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解，力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值：
入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识
4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
5. 深入浅出完整解析DeepSeek系列核心基础知识
Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析：
6. 深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识
Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识
7. 深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
8. 深入浅出完整解析Stable Diffusion（SD）核心基础知识
Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion（SD）核心基础知识
9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析，包括其在传统深度学习中的价值和在AIGC中的价值：
深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
10. 深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识
对于AIGC时代中的"ResNet"------LoRA模型，Rocky进行了深入浅出的全面讲解：
深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识
11. 深入浅出完整解析ControlNet核心基础知识
AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心，ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。
ControlNet正是让AI图像创作社区无比繁荣的关键一环，它让AIGC图像创作过程更加的可控，更有助于广泛地将AIGC算法解决方案应用到各行各业中：
12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
AI绘画和AI视频是两个互相促进、相互交融的领域，2024年无疑是AI视频领域的爆发之年，Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析：
深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
13. 深入浅出完整解析AIGC时代Transformer核心基础知识
在AIGC时代中，Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向，成为AI技术架构大一统与多模态整合的关键核心基座，大有一统"AI江湖"之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析：
深入浅出完整解析AIGC时代Transformer核心基础知识
14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
AIGC创作框架正是AIGC算法工作流的运行载体，目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等 。在传统深度学习时代，PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架，到了AIGC时代，Rocky相信ComfyUI就是AIGC时代的"PyTorch"、Stable Diffusion WebUI就是AIGC时代的"TensorFlow"、Diffusers就是AIGC时代的"Caffe"：
深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
在AIGC时代中，如何快速转身，入局AIGC产业？如何成为AIGC/LLM/AI Agent算法/开发工程师？如何在学校中系统性学习AIGC/LLM/AI Agent知识，斩获心仪的AIGC/LLM/AI Agent算法/开发offer？
Don't worry，Rocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍，为大家答疑解惑，希望能给大家带来帮助：
手把手教你成为AIGC/LLM/AI Agent算法/开发工程师，斩获AIGC/LLM/AI Agent算法/开发offer！
16. AIGC产业的深度思考与分析
2023年3月21日，微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示，自从1980年首次看到图形用户界面（graphical user interface）以来，以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。
Rocky也认为，AIGC及其生态，会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期，未来随着AIGC的全面落地和深度商用，会深刻改变我们的工作、生活、学习以及交流方式，各行各业都将被重新定义，过程会非常有趣。
那么，在此基础上，我们该如何更好的审视AIGC的未来？我们该如何更好地拥抱AIGC引领的革新？Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点，希望能帮助各位读者对AIGC有一个全面的了解：
深入浅出全面解析AIGC时代核心价值与发展趋势（2025年版）
17. AI算法工程师的独孤九剑秘籍
为了方便大家实习、校招以及社招的面试准备，同时帮助大家提升扩展技术基本面，Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:
【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍（持续更新中）
18. 深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识
GAN系列模型作为传统深度学习时代的最热门生成式Al模型，在AIGC时代继续繁荣，作为Stable Diffusion/FLUX系列大模型的"得力助手"，广泛活跃于AlGC图像创作的产品与工作流中：
深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识