写在前面
欢迎大家关注Rocky的知乎：Rocky Ding
《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源：【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book，欢迎大家Star～
Rocky最新撰写的10万字AI Agent（AI智能体）深入浅出全维度解析文章： 深入浅出完整解析AI Agent（AI智能体）的核心基础知识
AIGC/LLM/AI Agent算法岗/开发岗求职面试内推学习社群 （涵盖AIGC、LLM大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI等AI行业最新面试干货经验与核心知识）欢迎大家加入：https://t.zsxq.com/33pJ0
大家好，我是Rocky。
1. 机器人需要的视觉能力，可能藏在最不起眼的细节里
整理桌面的机器人，必须区分相邻的两个杯子，找出目标杯把，并判断哪个局部位置适合交互。模型即使能流畅解释"杯子可以装水"，也不能由此保证它能把手伸到正确位置。感知和动作之间，存在一个非常具体的接口问题：语言目标能否稳定对应到图像中的对象、位置和局部结构。
GroundingPI 把这个问题作为预训练的中心。它用点和框这些视觉基元统一目标检测、指代、OCR、界面定位与视觉提示，再考察训练出的感知表示能否帮助机器人和自动驾驶的动作学习。
Rocky认为，这项工作的价值，在于把"可迁移的精确感知"当作动作模型的基础资产来研究。 机器人演示数据昂贵，如果每次训练策略都需要同时学会看清对象和控制关节，动作数据就承担了过多职责。一个能提供稳定空间信息的基础模型，有机会让后续演示更集中地教会系统如何执行。
但这个推理有边界：本文分析的是公开报告中的感知与迁移实验，没有独立训练或部署机器人。论文结果不能直接等同于真实物理环境中的闭环可靠性，感知榜单也不能替代控制系统验收。
图1｜统一空间任务与动作迁移概览。来自GroundingPI技术报告。
2. 用一个词表表达对象、位置与缺失
GroundingPI 由 MoonViT-V2 视觉编码器、可学习投影层与 Qwen3-4B 语言解码器组成。投影器合并相邻 2 × 2 2\times2 2×2 视觉特征，再用两层MLP映射到语言空间。给定图像 I I I 与查询 P P P：
V = C ϕ ( E ψ ( I ) ) , p θ ( Y ∣ I , P ) = ∏ i = 1 ∣ Y ∣ p θ ( y i ∣ V , P , y < i ) . V=C_\phi(E_\psi(I)),\qquad p_\theta(Y\mid I,P)=\prod_{i=1}^{|Y|}p_\theta(y_i\mid V,P,y_{<i}). V=Cϕ(Eψ(I)),pθ(Y∣I,P)=i=1∏∣Y∣pθ(yi∣V,P,y<i).
语义类别、结构标记和1,000个坐标token共享输出头。框用xyxy四个坐标，点用两个坐标；明确查询却不存在的类别输出None。同类多个实例共享标签包装，减少重复文本开销。
图2｜视觉编码与原子坐标词表。来自GroundingPI技术报告。
2.1 量化坐标带来的收益与误差
每个 <0> 到 <999> 都是一个原子token，而不是若干数字字符。它缩短空间序列，也让训练直接监督几何离散值。原子坐标仍是有限精度表示；极小目标、缩放取整与边缘位置都可能放大量化误差。
输出协议也属于能力的一部分。多框排序、类别分隔符、结束标记和缺失目标的表示必须一致；调用方不能只用一个宽松正则，抓到四个数字就默认输出有效。
表6｜空间协议词表。星号、缺失项与协议例外沿用论文，需结合正文解释。
表7｜任务提示与几何输出。星号、缺失项与协议例外沿用论文，需结合正文解释。
坐标协议给了模型统一任务接口，但没有取消任务差异。OCR标签是文字转写，检测标签是对象类别，轨迹点又需要保持时间次序。把这些都序列化，不意味着评价时可以混用匹配方式。
2.2 4B名称不等于完整参数计数
GroundingPI 的36层语言主干均为全注意力；动态图像处理最多4096个patch，合并后最多1024个视觉token。位置容量262,144与训练实际使用的8192/32768序列长度不同。
表8｜主干结构与视觉预算。星号、缺失项与协议例外沿用论文，需结合正文解释。
表9｜完整参数计数。星号、缺失项与协议例外沿用论文，需结合正文解释。
算上视觉编码器、投影器以及不共享权重的输入嵌入和输出头，完整模型约4.844B参数。"4B"指语言主干家族，不能直接拿它推算完整模型的显存和吞吐。
对推理成本，关键还有图像token数与目标数。密集场景可能要求输出上百个框，逐token生成会累积延迟。空间表示更紧凑是一种优化，但是否满足控制周期，要看整条观测到动作链的测量。
3. 数据引擎的难点：确认"全部"与确认"没有"
多教师标注不是简单投票。GroundingPI 按字段融合定位、分割、文字识别、界面和文档标注；语义与几何分别验证。一个对象的类别确认了、框还不确定，只能保留已确认字段，不能把整个记录都视为真值。
图3｜多教师字段校验与数据迭代。来自GroundingPI技术报告。
任务对证据的要求也不同。一个已确认的杯子可以支撑局部指代训练，但"找出所有杯子"还需要完整覆盖；None要求确认对象不存在，空预测本身不能证明不存在。物体---部件和单词---文本行关系也应保留，不能被去重算法误合并。
当细节不清时，引入局部观察，并将裁剪结果映射回原图坐标。如果监督依赖原始输入根本不可见的细节，应把所需局部视图一起保留，避免强迫模型预测输入中不存在的信息。标签修订还要传递给依赖它的下游任务。
这给数据团队的启发很实际：标注质量不仅是单个框画得准，更是任务依赖是否满足。多个教师同意一个答案，仍可能共享偏差；质量体系需要记录未解决状态，而不是将不确定性强行变成标签。
4. 从语言监督走向空间结果优化
训练总体包含基础VLM预训练、坐标对齐SFT与强化后训练。基础VLM先冻结两个主干，只训练投影器；随后进行全参数多模态预训练和一般图像/视频理解。坐标对齐阶段再学习空间任务及输出协议。
表10｜基础VLM与SFT训练。星号、缺失项与协议例外沿用论文，需结合正文解释。
监督阶段仍然是自回归交叉熵，坐标token与普通响应token使用相同的预测框架，没有额外把每个token直接变成连续IoU回归。它容易实现统一序列训练，但token似然与最终集合质量并不完全一致：重复一个框可能只造成少量token差异，却破坏实例完整性。
图4｜SFT和GRPO空间后训练。来自GroundingPI技术报告。
4.1 GRPO优化的是可检查的结果
每个图像---查询采样8条响应。grounding有两种奖励：集合覆盖 R s e t R_{set} Rset 与严格输出质量 R s t r i c t R_{strict} Rstrict。先分别在同一提示的响应组内标准化，再按0.7和0.3组合；OCR则使用一个综合奖励。组合优势还在整批响应上标准化。
A ~ i = 0.7 Z ( R s e t , i ) + 0.3 Z ( R s t r i c t , i ) , A i = A ~ i − μ A ~ s A ~ + 10 − 8 . \widetilde A_i=0.7Z(R_{set,i})+0.3Z(R_{strict,i}),\qquad A_i=\frac{\widetilde A_i-\mu_{\widetilde A}}{s_{\widetilde A}+10^{-8}}. A i=0.7Z(Rset,i)+0.3Z(Rstrict,i),Ai=sA +10−8A i−μA .
其中同组常数奖励在标准化后贡献零。每条响应的优势赋给其所有有效输出token，采用按响应长度归一的裁剪目标：
论文式（1）：
J ( θ ) = E B 1 N ∑ i = 1 N 1 ∣ Y i ∣ ∑ t = 1 ∣ Y i ∣ { min ( r i , t A i , clip ( r i , t , 1 − ϵ , 1 + ϵ ) A i ) − β d i , t } . \mathcal J(\theta)=\mathbb E_{\mathcal B}\!\left\\frac{1}{N}\\sum_{i=1}\^{N}\\frac{1}{\|Y_i\|}\\sum_{t=1}\^{\|Y_i\|}\\left\\{\\min\\!\\left(r_{i,t}A_i,\\operatorname{clip}(r_{i,t},1-\\epsilon,1+\\epsilon)A_i\\right)-\\beta d_{i,t}\\right\\}\\right. J(θ)=EB N1i=1∑N∣Yi∣1t=1∑∣Yi∣{min(ri,tAi,clip(ri,t,1−ϵ,1+ϵ)Ai)−βdi,t} .
r i , t r_{i,t} ri,t 为当前策略与旧策略的token概率比，裁剪参数 ϵ = 0.2 \epsilon=0.2 ϵ=0.2，参考正则权重 β = 0.02 \beta=0.02 β=0.02。参考模型冻结为SFT checkpoint；RL冻结视觉编码器与投影器，仅更新语言侧参数。
正则项使用 d = ρ − log ρ − 1 d=\rho-\log\rho-1 d=ρ−logρ−1，其中 ρ = π r e f / π θ \rho=\pi_{ref}/\pi_\theta ρ=πref/πθ。它在当前策略采样时的期望对应KL；实际用旧策略rollout评估时，应理解为采样正则，不能直接称为当前策略KL的无偏估计。
表11｜强化后训练设置。星号、缺失项与协议例外沿用论文，需结合正文解释。
4.2 覆盖奖励不是标准检测F1
R s e t R_{set} Rset 为每个真值框独立选最高IoU预测，再核验类别；同一预测可以被多个真值复用。令匹配分数和为 S S S，真值数 n n n，预测数 m m m，计算 R s = S / n R_s=S/n Rs=S/n、 P s = S / m P_s=S/m Ps=S/m，再取类似F1的调和平均。
由于匹配允许复用，这个覆盖代理奖励可能超过1。因此它不能直接当成一对一匹配下的标准F1，也需要严格奖励补充重复框、超大框、数量、格式和排序约束。
表12｜严格grounding奖励。星号、缺失项与协议例外沿用论文，需结合正文解释。
严格奖励把0.50/0.75/0.95三个IoU阈值的F1、匹配IoU等分项加权，并裁剪到0至1。先分别标准化再组合，意味着0.7/0.3是标准化后的相对权重，不能按原始量纲直觉解释。
4.3 OCR同时对齐文字与几何
OCR采用Hungarian一对一匹配，联合考虑文字编辑相似度与框IoU，兼顾严格文本匹配和部分匹配反馈。其一般形式为 F ( A ) = 2 M ( A ) / ( n + m ) F(A)=2M(A)/(n+m) F(A)=2M(A)/(n+m)，其中 M ( A ) M(A) M(A) 是最优分配的亲和度总和。
硬匹配要求规范化字符串相同且IoU过阈值；软亲和度使用 I o U \sqrt{\mathrm{IoU}} IoU 乘编辑相似度，并分别设几何与文本阈值。Unicode规范化、大小写折叠和标点处理属于奖励定义，不能在复现时随意更换。
表13｜OCR粒度聚合。星号、缺失项与协议例外沿用论文，需结合正文解释。
文本可能存在词级和行级两种合理粒度。报告在完整视图之间聚合，并对冲突标注降权，而非把互不兼容的零散匹配拼成一个高分。最后还用格式门控及重复、过量、无效框惩罚。这体现一个现实问题：奖励需要鼓励可交付结构，而不只是局部识别正确。
训练奖励与测试指标是两套定义。前者服务优化，后者服务比较；如果只展示奖励上升，不能证明独立基准能力提升。
5. 感知结果要拆开看，平均分会掩盖能力差异
报告在34个基准、11类能力上比较44个基线，GroundingPI综合均分73.68，GPT-6 Astra为71.54。Astra在这项实验中是强感知参照，并非被作为机器人动作主干做了相同适配。
图5｜各类感知任务比较。来自GroundingPI技术报告。
这也不是所有任务全面领先。Dense200框定位F1mIoU为74.53，对照Astra65.04；在GUI与部分空间任务上，Astra仍有优势；TotalText与DocLayNet也分别存在更强的比较系统。
表1｜检测与指代概览。星号、缺失项与协议例外沿用论文，需结合正文解释。
表2｜机器人空间与GUI概览。星号、缺失项与协议例外沿用论文，需结合正文解释。
表3｜OCR与文档布局概览。星号、缺失项与协议例外沿用论文，需结合正文解释。
表4｜对象pointing概览。星号、缺失项与协议例外沿用论文，需结合正文解释。
F1mIoU指跨IoU阈值的F1汇总，F1@Point则结合点是否落入目标掩码与实例匹配。能把点放在物体内部，与把整个边界框定位准确，是不同挑战。Dense200上点与框的排序变化，恰好提醒我们不能用一个统一口号覆盖所有空间任务。
报告对自身模型采用五个种子、每个两次共十次运行均值，部分本地基线为三个种子各一次，其他行取外部公开值。星号可能表示外部结果或支持例外，N/A与缺失值不能当零分；提示和解析协议不兼容，也不能直接证明模型内在没有该能力。
完整任务表在后文按评价对象分组保留，以便从召回、精度、严格定位阈值与解析错误率分别理解差距。
6. 动作迁移实验控制了什么
GroundingPI 的机器人比较把不同基础模型接到同一个Action DiT。每次观测与指令只运行一次主干，在八个归一化深度抽取隐藏状态，投影、加深度嵌入并重采样为每层64个条件token，宽度统一1024。
表14｜统一Action DiT架构。星号、缺失项与协议例外沿用论文，需结合正文解释。
Action DiT有16个原子block，8个cross-attention与8个self-attention交替，而不是16组各含两种注意力的成对block。动作horizon为16，推理使用4步Euler；感知特征在动作去噪过程中缓存复用。
训练用 a t = ( 1 − t ) ϵ + t a a_t=(1-t)\epsilon+ta at=(1−t)ϵ+ta，目标速度 a − ϵ a-\epsilon a−ϵ，对动作位置最小化速度预测平方误差。不同基础模型共用动作表示、动作数据、优化预算和推理过程；按主干宽度适配的小投影器是接口参数差异之一。
表15｜动作学习预算。星号、缺失项与协议例外沿用论文，需结合正文解释。
统一动作头有助于研究表示迁移，但也规定了结论范围。它没有比较每个VLA或WAM系统原生的最优动作架构，也不能证明某类基础模型在所有适配配方下更弱。
图6｜受控动作迁移及开环驾驶误差。来自GroundingPI技术报告。
6.1 OOD优势是真实信号，低绝对成功率也必须保留
GroundingPI在六种机器人设置中的五种第一，覆盖四个OOD设置。RoboTwin2.0 Full为66.20%；Clean2Random从干净演示迁移到随机场景，GroundingPI为17.60%，Rex-Omni为14.10%。相对提升约24.8%，对应绝对增加3.50个百分点。
这两个表述都重要。24.8%的相对提升表明进步明显，17.60%的绝对成功率则说明任务依然困难。将结果写成"成功率提升24.8个百分点"会夸大改善；将其称为成熟机器人能力同样缺乏依据。
RoboCasa-GR1 Full中，GroundingPI37.75低于RynnBrain39.00。它的强项尤其体现在分布变化与低数据适配，不是每项ID结果都领先。
图7｜感知预训练角色的概念示意。来自GroundingPI技术报告。
图7描绘感知训练的角色分工，图形分区只是概念示意，并非测得的参数量或数据量比例。视觉基元能作为物理提示接口，但现有迁移实验没有单独隔离"加入物理提示"这一干预的收益。
6.2 演示数据效率不等于总训练成本更低
图8｜动作演示数据效率。来自GroundingPI技术报告。
在RoboCasa-GR1 ID上，50%演示数据的GroundingPI达到28.75%，高于使用75%演示的最强基线27.75%。剩余动作学习设置固定，支持它在该任务中提高演示利用效率。
但是，其感知预训练本身消耗了大量图文与空间数据。不能由"少用机器人演示"推导"端到端总数据或总算力更少"。四个数据比例的实验也没有单独分离感知学习和运动控制的样本复杂度。
6.3 自动驾驶的0.296米属于开环轨迹指标
nuScenes任务输入当前前视图和最多三秒历史自车状态，输出未来三秒、每0.5秒一个累计位置，共六点。横纵坐标采用固定米制范围量化到同一坐标词表；这些是物理坐标，不是图像归一化坐标。
q z = round e v e n ( 999 z − a b − a ) , z ^ = a + ( b − a ) q z / 999. q_z=\operatorname{round}_{even}\!\left(999\frac{z-a}{b-a}\right),\qquad \hat z=a+(b-a)q_z/999. qz=roundeven(999b−az−a),z^=a+(b−a)qz/999.
纵向范围为 − 60 , 60 -60,60 −60,60 米，横向 − 20 , 20 -20,20 −20,20 米。每点已经是相对当前车体的累计位置，不能再累加一次。评价使用未量化真值。
L 2 @ h = 1 2 h ∑ k = 1 2 h d ˉ k , L 2 A v g = 1 3 ∑ h = 1 3 L 2 @ h . \mathrm{L2}@h=\frac{1}{2h}\sum_{k=1}^{2h}\bar d_k,\qquad \mathrm{L2}{Avg}=\frac13\sum{h=1}^3\mathrm{L2}@h. L2@h=2h1k=1∑2hdˉk,L2Avg=31h=1∑3L2@h.
这里按各时间范围内的累计点误差平均，再平均1/2/3秒结果，区别于只比较各端点。GroundingPI0.296米相对Qwen3-VL-4B0.301米，差0.005米。离线轨迹更接近记录不代表在线碰撞率下降，也没有测出读取路牌的独立贡献或闭环延迟。
7. 预训练规模与任务混合，分别说明了什么
图9｜预训练暴露量与迁移。来自GroundingPI技术报告。
表16｜逐阶段预训练暴露结果。星号、缺失项与协议例外沿用论文，需结合正文解释。
grounding均分从61.69升至73.68，OOD成功率从26.59升至33.38；但ID成功率在最后一步从38.75降至37.75。感知更强与迁移改善存在联系，不能概括为所有动作指标都单调随规模上升。四个设置且缺少充分重复不确定性，还不足以建立普适scaling law。
OOD聚合按Container、Appearance、Type各评估套件数量加权：
论文式（2）：
S R O O D = 14 S R C o n t a i n e r + 18 S R A p p e a r a n c e + 32 S R T y p e 64 . \mathrm{SR}{\mathrm{OOD}}= \frac{14\,\mathrm{SR}{\mathrm{Container}}+18\,\mathrm{SR}{\mathrm{Appearance}}+32\,\mathrm{SR}{\mathrm{Type}}}{64}. SROOD=6414SRContainer+18SRAppearance+32SRType.
14、18、32是评价权重，不是训练混合比例。平均分变化时，应同时查看每个套件的结果。
图10｜六组任务组成消融。来自GroundingPI技术报告。
表17｜六组任务混合。星号、缺失项与协议例外沿用论文，需结合正文解释。
六组分别为基础grounding、密集grounding、指代、基础pointing、机器人pointing，以及OCR/布局/GUI辅助组。去掉密集组，ID与OOD分别下降4.67和3.47个百分点，驾驶L2增加0.015米，支持密集空间监督的广泛迁移价值。
其几何动机很直观：等宽 w w w、等高的两个框只在水平方向错开 δ \delta δ，且 ∣ δ ∣ < w |\delta|<w ∣δ∣<w 时：
论文式（3）：
IoU ( δ ) = w − ∣ δ ∣ w + ∣ δ ∣ , IoU ( δ ) ≥ τ ⟺ ∣ δ ∣ ≤ w 1 − τ 1 + τ . \operatorname{IoU}(\delta)=\frac{w-|\delta|}{w+|\delta|}, \qquad \operatorname{IoU}(\delta)\geq\tau \;\Longleftrightarrow\; |\delta|\leq w\frac{1-\tau}{1+\tau}. IoU(δ)=w+∣δ∣w−∣δ∣,IoU(δ)≥τ⟺∣δ∣≤w1+τ1−τ.
假设阈值0.9、目标宽10像素，允许位移仅约0.526像素。这个计算只是等尺寸水平平移的简化模型，却清楚说明小目标对绝对误差更敏感。
去掉OCR/布局/GUI辅助组，机器人ID/OOD下降5.33/3.63个百分点；但只保留该组又最差，说明它与其他任务互补。这个组包含三类监督，不能把整体删组效应全部归因于OCR，也不能把各个留一消融差值相加当作独立贡献。
7.1 OCR"催化感知"仍然是待验证机制
表18｜OCR混合时序。星号、缺失项与协议例外沿用论文，需结合正文解释。
冷启动加入OCR与训练批次持续混合结合时，机器人迁移最好；驾驶L2在显示精度下都为0.296。OCR是否通过文字转写梯度改善非文字空间识别，仍需更细对照。
把OCR响应位置拆成框、转写和协议三类，损失可写为：
论文式（4）：
L O C R = L b + L t + L p , L r = − 1 ∣ T ∣ ∑ i ∈ T r log p θ ( y i ∣ I , Q , y < i ) , r ∈ { b , t , p } . \mathcal L_{\mathrm{OCR}}=\mathcal L_b+\mathcal L_t+\mathcal L_p, \qquad \mathcal L_r=-\frac{1}{|\mathcal T|}\sum_{i\in\mathcal T_r} \log p_\theta(y_i\mid I,Q,y_{<i}),\quad r\in\{b,t,p\}. LOCR=Lb+Lt+Lp,Lr=−∣T∣1i∈Tr∑logpθ(yi∣I,Q,y<i),r∈{b,t,p}.
要隔离转写梯度，应移除 L t \mathcal L_t Lt，但保留转写token作为teacher-forcing条件，并保持总分母。删掉转写token会改变框预测条件，重新归一化剩余token又会改变其他损失权重，都不再是单纯的"移除转写监督"。
对于视觉参数 θ v \theta_v θv，令转写梯度为 g t g_t gt，非文字grounding梯度为 g g g_g gg。在局部Hessian范数有界条件下：
论文式（5）：
L g ( θ v − η g t ) − L g ( θ v ) ≤ − η ⟨ g g , g t ⟩ + H η 2 2 ∥ g t ∥ 2 2 . \mathcal L_g(\theta_v-\eta g_t)-\mathcal L_g(\theta_v) \leq-\eta\langle g_g,g_t\rangle +\frac{H\eta^2}{2}\lVert g_t\rVert_2^2. Lg(θv−ηgt)−Lg(θv)≤−η⟨gg,gt⟩+2Hη2∥gt∥22.
当两种梯度方向一致且学习率足够小时，这个上界允许非文字损失下降。它是条件性的局部分析，不是对真实训练全过程的证明；AdamW还应检查实际参数更新方向。论文提出了可检验假设，完整机制验证仍未完成。
8. 输出更短，离实时动作还差一次端到端测量
图11｜坐标、视觉编码器与RL消融。来自GroundingPI技术报告。
量化坐标相对文本坐标使grounding均分从71.21提高到73.68；替换视觉编码器或移除强化后训练也会降低该配置下的表现。其中去掉RL为72.86，对应0.82个百分点差异。
表5｜坐标序列开销。星号、缺失项与协议例外沿用论文，需结合正文解释。
COCO上平均每框7.6token，对照外部SEED1.5-VL统计148.8；Dense200为5.1与74.5。这对应约19.6倍和14.6倍的序列压缩，不是相同硬件、相同输入、相同解码实现下的推理加速倍数。
图12｜实例数量与生成成本。来自GroundingPI技术报告。
同类多个框共享标签，目标多时可以摊薄包装开销；但总输出仍随目标数增加。实际系统需要分开测量视觉前向、prefill、自回归输出、解析、坐标转换与动作执行，记录尾延迟，而不仅是平均token速度。
如果下游只需要当前操作对象，直接请求与目标相关的区域可能比每帧输出所有物体更合适；若任务要求盘点全部实例，则不能以少输出换取表面速度。这属于任务协议与服务预算的共同设计。
9. 为什么架构讨论不能被简化成"线性注意力不适合机器人"
论文比较的基础模型在视觉编码器、语言架构、预训练、连接器和规模上都不同。RynnBrain1.1的Qwen3.5基础包含线性注意力与门控，RynnBrain使用全注意力Qwen3-VL；前者机器人结果更弱、驾驶结果却更好。这一现象提出研究问题，但没有隔离某种注意力结构的因果作用。
9.1 行为损失能否访问到空间特征
把八个深度的动作接口写为：
论文式（6）：
C s = R ( LN ( H ℓ s ) W B + e s ) , s = 0 , ... , 7 , y ^ = A ϕ ( ξ ; C 0 , ... , C 7 ) . C_s=\mathcal R\!\left(\operatorname{LN}(H_{\ell_s})W_B+e_s\right),\quad s=0,\ldots,7, \qquad \hat y=\mathcal A_\phi(\xi;C_0,\ldots,C_7). Cs=R(LN(Hℓs)WB+es),s=0,...,7,y^=Aϕ(ξ;C0,...,C7).
R \mathcal R R为重采样器， W B W_B WB为共享投影， e s e_s es为深度嵌入， A ϕ \mathcal A_\phi Aϕ是预测flow速度的动作模型。一个视觉信息即使保留在主干里，也不代表动作接口能在有限训练预算内有效读出；关键是整条特征到动作的路径。
对于一个Gated DeltaNet头，论文用如下状态更新讨论条件性传递：
论文式（7）：
S t = S t − 1 A t + β t v t k t ⊤ , A t = α t ( I − β t k t k t ⊤ ) , o t = S t q t . S_t=S_{t-1}A_t+\beta_t v_tk_t^\top, \qquad A_t=\alpha_t(I-\beta_t k_tk_t^\top), \qquad o_t=S_tq_t. St=St−1At+βtvtkt⊤,At=αt(I−βtktkt⊤),ot=Stqt.
固定key、query、gate与其他value，仅扰动 v j v_j vj，在键归一化、门值有界的假设下有：
论文式（8、9）：
Δ o t = κ j t Δ v j , κ j t = β j k j ⊤ A j + 1 ⋯ A t q t , t ≥ j , ∣ κ j t ∣ ≤ β j Q ∏ r = j + 1 t α r . \begin{aligned} \Delta o_t&=\kappa_{jt}\Delta v_j, \qquad \kappa_{jt}=\beta_j k_j^\top A_{j+1}\cdots A_tq_t,\quad t\geq j, \\ |\kappa_{jt}|&\leq\beta_j Q\prod_{r=j+1}^{t}\alpha_r. \end{aligned} Δot∣κjt∣=κjtΔvj,κjt=βjkj⊤Aj+1⋯Atqt,t≥j,≤βjQr=j+1∏tαr.
当沿途遗忘门有统一小于1的上界时，这条value通路的上界可随序列距离衰减。序列距离并不是图像物理距离，也不代表整个模型的全部信息通路；残差与全注意力层仍可能传递相关信息。
考虑所有深度读出、投影、重采样和动作模型，条件value通路的Jacobian为：
论文式（10）：
J j r e c = ∑ t = j T κ j t R t , ∇ v j r e c L a c t = ( J j r e c ) ⊤ ∇ y ^ L a c t . J_j^{\mathrm{rec}}=\sum_{t=j}^{T}\kappa_{jt}R_t, \qquad \nabla_{v_j}^{\mathrm{rec}}\mathcal L_{\mathrm{act}} =(J_j^{\mathrm{rec}})^\top\nabla_{\hat y}\mathcal L_{\mathrm{act}}. Jjrec=t=j∑TκjtRt,∇vjrecLact=(Jjrec)⊤∇y^Lact.
其中 R t R_t Rt 包含后续网络对位置 t t t 的动作敏感度。 t = j t=j t=j 的项仍允许访问当前token自己的状态，后续通路也可能放大或抵消影响，因此不能仅凭某一遗忘系数就判断动作失败。
9.2 门控与多层视觉注入需要受控实验
对 b = W o ( g ⊙ u ) b=W_o(g\odot u) b=Wo(g⊙u)、 g = σ ( z ) g=\sigma(z) g=σ(z)，有：
论文式（11）：
∇ u L a c t = g ⊙ W o ⊤ λ , ∇ z L a c t = g ⊙ ( 1 − g ) ⊙ u ⊙ W o ⊤ λ . \nabla_u\mathcal L_{\mathrm{act}}=g\odot W_o^\top\lambda, \qquad \nabla_z\mathcal L_{\mathrm{act}} =g\odot(1-g)\odot u\odot W_o^\top\lambda. ∇uLact=g⊙Wo⊤λ,∇zLact=g⊙(1−g)⊙u⊙Wo⊤λ.
小门值会衰减该分支的特征梯度，饱和会衰减门logit梯度；但这没有考虑所有残差通路与优化器的实际更新，也不证明门控对所有任务有害。
DeepStack通过多层注入视觉特征丰富表示。局部扰动下，各注入层对动作输出的贡献为：
论文式（12）：
B ℓ = ∑ s : m s > ℓ ∂ y ^ ∂ c s ∂ c s ∂ h m s J m s − 1 ⋯ J ℓ + 1 U ℓ , δ y ^ = ∑ ℓ ∈ I B ℓ δ f ℓ + O ( ∥ δ f ∥ 2 2 ) . \begin{aligned} B_\ell&=\sum_{s:m_s>\ell} \frac{\partial\hat y}{\partial c_s} \frac{\partial c_s}{\partial h_{m_s}} \mathcal J_{m_s-1}\cdots\mathcal J_{\ell+1}U_\ell,\\ \delta\hat y&=\sum_{\ell\in\mathcal I}B_\ell\,\delta f_\ell +O(\lVert\delta f\rVert_2^2). \end{aligned} Bℓδy^=s:ms>ℓ∑∂cs∂y^∂hms∂csJms−1⋯Jℓ+1Uℓ,=ℓ∈I∑Bℓδfℓ+O(∥δf∥22).
B ℓ B_\ell Bℓ结合了后续主干与所有受影响的动作读出； δ f ℓ \delta f_\ell δfℓ只是特征扰动，不等同于预测错误。若把两种注入设置的输出差记为 d d d，原有误差记为 e 0 e_0 e0：
论文式（13）：
E ∥ e 0 + d ∥ 2 2 − E ∥ e 0 ∥ 2 2 = 2 E e 0 ⊤ d + E ∥ d ∥ 2 2 . \mathbb E\lVert e_0+d\rVert_2^2-\mathbb E\lVert e_0\rVert_2^2 =2\mathbb Ee_0\^\\top d+\mathbb E\lVert d\rVert_2^2. E∥e0+d∥22−E∥e0∥22=2Ee0⊤d+E∥d∥22.
额外特征是否改善任务，要看它能否纠正已有误差，抵消新增变化的平方项。若额外分支能够归零，多分支结构包含单分支特例，单纯"路径更多"不能证明最优损失更高。实际问题可能是有限数据与共享投影下的适配难度。
下一步有价值的实验是固定主干训练数据、模型容量与动作预算，只改变共享/分层投影、门控或视觉注入路径，再比较不同数据规模下的读出效果。现有论文给出条件推导与配置比较，尚未完成这种架构因果隔离。
10. 从完整任务表识别失败类型
以下保留论文补充评测表。阅读时将模型名称旁星号与单项星号区别开：前者常指外部结果，后者还可能表示支持例外。-是未报告，N/A是当前协议不支持，UNK是零样本状态不明。它们不是可随意补成0的数值。
10.1 常见、长尾、密集与微小目标
表19｜COCO完整框指标。星号、缺失项与协议例外沿用论文，需结合正文解释。
COCO的宽松阈值召回与严格阈值精度应分开看：系统能找到对象，却可能仍不能可靠给出紧致边界。
表20｜LVIS完整框指标。星号、缺失项与协议例外沿用论文，需结合正文解释。
LVIS加入长尾类别后，语义覆盖与定位能力共同影响结果。GroundingPI并非所有长尾比较项都第一，不能将Dense200优势延伸成任意类别优势。
表21｜Dense200完整框指标。星号、缺失项与协议例外沿用论文，需结合正文解释。
Dense200直接考验实例分离与覆盖。报告对部分BAGEL和DeepSeek本地运行未复现外部结果作了说明，使用可获得的外部值；没有把Small或Tiny checkpoint当成完整模型替代。这个版本边界必须保留。
表22｜VisDrone完整框指标。星号、缺失项与协议例外沿用论文，需结合正文解释。
VisDrone包含较小目标，GroundingPI仍有提升空间。与Dense200合看，才能分辨密集与微小并非完全同一个难题。
10.2 关系指代与点定位
表23｜HumanRef完整指标。星号、缺失项与协议例外沿用论文，需结合正文解释。
HumanRef需要把人物描述与目标对应，关系歧义可能先于框误差出现。外部结果与本地统一运行应按表注分别解释。
表24｜RefCOCOg严格定位。星号、缺失项与协议例外沿用论文，需结合正文解释。
RefCOCOg更长的表达并不自动代表复杂推理已解决。不同阈值的F1说明语义选对与几何收紧的差距。
表25｜RefCOCO三个数据集。星号、缺失项与协议例外沿用论文，需结合正文解释。
主表的RefCOCO平均是三个数据集F1mIoU的算术平均。它不能与另一篇报告对八个split、Prec@0.5的平均直接相减。
表26｜指代表达点定位。星号、缺失项与协议例外沿用论文，需结合正文解释。
表27｜COCO与LVIS点定位。星号、缺失项与协议例外沿用论文，需结合正文解释。
表28｜Dense200与VisDrone点定位。星号、缺失项与协议例外沿用论文，需结合正文解释。
指代点、普通对象点和密集点使用目标区域来判定点的正确性。框定位领先不保证点定位排序相同；对于协议不兼容的模型，不能把缺失结果解释为不会指点。
表29｜机器人空间点定位。星号、缺失项与协议例外沿用论文，需结合正文解释。
机器人和空间点定位评估"位置是否落到正确区域"，还不是抓取位姿预测。RoboRefer的外部设置没有深度先验，比较时需要保留该前提。
10.3 OCR、GUI与文档区域
表30｜HierText与ICDAR2015。星号、缺失项与协议例外沿用论文，需结合正文解释。
HierText与ICDAR2015同时报告文本---几何匹配与解析错误。SenseNova-Vision在这两个数据集使用外部结果，因为本地提示未对齐，其他分项不可据空白补出。
表31｜TotalText与SROIE。星号、缺失项与协议例外沿用论文，需结合正文解释。
TotalText与SROIE呈现不同优势分布。文本弯曲、旋转、粒度和精确转写要求都可能改变排名，不能只看一个总OCR分数。
表32｜ScreenSpot-Pro。星号、缺失项与协议例外沿用论文，需结合正文解释。
ScreenSpot-Pro细分应用领域和文本/图标目标。在界面任务中，点击区域的准确性与完整业务操作成功率仍然不同。
表33｜ScreenSpot-V2与OSWorld-G。星号、缺失项与协议例外沿用论文，需结合正文解释。
ScreenSpot-V2与OSWorld-G还要结合解析错误率。某模型输出格式不符合统一协议时，观察到的是当前接入方式下的结果，不能上升为内在能力上限。
表34｜DocLayNet。星号、缺失项与协议例外沿用论文，需结合正文解释。
表35｜M6Doc。星号、缺失项与协议例外沿用论文，需结合正文解释。
文档区域评估说明通用空间协议可迁移到版面对象，但不能直接替代复杂文档阅读顺序、表格重建或公式解析。表中的不支持接口和可疑协议结果仅具描述性，尤其不适合直接用于产品采购结论。
10.4 以示例定位相似对象
表36｜FSC147视觉提示。星号、缺失项与协议例外沿用论文，需结合正文解释。
表37｜Dense200视觉提示。星号、缺失项与协议例外沿用论文，需结合正文解释。
表38｜COCO视觉提示。星号、缺失项与协议例外沿用论文，需结合正文解释。
表39｜LVIS视觉提示。星号、缺失项与协议例外沿用论文，需结合正文解释。
视觉提示通过示例框提供外观信息，在FSC147、Dense200、COCO、LVIS中检测相似对象。它能帮助跨类别词汇的实例查找，但输入接口不兼容的基线仍需标为不支持，不应在平均分中随意计作能力为零。若业务中经常由用户圈一个例子再找同类，这是比只测类别词更贴近使用方式的评价。
11. 定性图的用途，是让错误可被描述
图13｜教室多尺度定位。来自GroundingPI技术报告。
拥挤教室中，前景与背景物体尺度差别大。图13帮助理解模型如何覆盖多尺度目标；要量化稳定性，还需对同样密度和遮挡条件抽样统计。
图14｜遮挡水果的密集检测。来自GroundingPI技术报告。
水果密集且互相遮挡时，实例分离容易出现重复框和漏框。图14展示一种成功形态，不能代替计数误差和漏检率分布。
图15｜遮挡关系中的人物指代。来自GroundingPI技术报告。
图15依靠被遮挡的空间关系指代人物。错误应区分"关系理解错误"和"正确人物但框不准"，这会导向不同的数据修复策略。
图16｜沙发表面点定位。来自GroundingPI技术报告。
图16中的点需要落到沙发可见表面。点落在目标内部只是几何有效，不意味着该位置可安全接触或承重。
图17｜航拍密集点定位。来自GroundingPI技术报告。
航拍密集点定位暴露了输入分辨率、目标尺度与输出长度的共同约束。提高像素可能增加可见细节，也可能增加前处理和视觉编码成本。
图18｜小界面控件定位。来自GroundingPI技术报告。
界面中的小控件要求精确坐标，随后仍需验证控件状态、遮挡与操作结果。截图上点对了，不代表整条软件任务已执行成功。
图19｜艺术字与小字OCR。来自GroundingPI技术报告。
图20｜倾斜与混合字体OCR。来自GroundingPI技术报告。
艺术字、斜体与混合字体把识别和几何绑定在一起。图19、20用于观察文字区域是否完整、不同排版粒度如何处理；数字和专名仍需专门验收。
图21｜多语言包装与数值字段。来自GroundingPI技术报告。
多语言包装包含小字与数值字段。用于商品或文档业务时，要增加单位、数量和字段一致性检查，避免字符正确但语义拼接错误。
图22｜示例引导的密集管口定位。来自GroundingPI技术报告。
管口密集重复适合示例提示，但外观近似也容易导致过度匹配。应同时记录用户示例框、匹配阈值、遗漏与误检，让交互修正进入下一轮数据。
12. 开源入口与真实可用性之间，还有工程工作
官方已经提供GroundingPI权重、推理服务与训练/评测入口。轻量HTTP客户端并不加载模型，也不意味着安装普通requirements就具备完整运行环境；服务、训练、评测各有环境要求，训练配置还依赖匹配的PPU厂商镜像、预处理缓存和manifest。
已有训练脚本与可从任意JSONL重建全部训练数据，是两回事。官方说明没有通用JSONL到训练缓存转换器。机器人比较目录提供配套流程和配置，也明确不能把发布的grounding权重直接当成可执行动作策略；还需要各自环境、策略checkpoint和适配实现。
许可同样要按组件理解。项目原创贡献采用Apache-2.0，但Kimi来源材料及适用衍生部分保留上游许可要求。因此不能把仓库一处Apache标识扩大成全部权重和所有第三方组件都只有同一种许可。
研究团队可以优先复现密集任务、OCR组成和动作读出消融。产品团队应按"语义目标---空间对象---坐标变换---动作---状态反馈"分别验收。执行系统需要的除了平均分，还有目标不存在时的行为、输出畸形率、分布变化、实时尾延迟与失败恢复。
Rocky更认可一种克制的分工：用强通用模型处理知识密集的规划，用适合当前任务的感知和动作模块处理执行，再通过真实状态反馈校正。GroundingPI支持"精确感知值得单独预训练"的方向，但并未证明某一种System 1/System 2划分是唯一最优，也未展示完整实时双系统控制器。
跨周期的价值，最终在可复用空间表示与真实任务证据之间积累。知道目标在哪里，是执行的必要起点；接触动力学、长时序记忆、动作可行性和安全约束，还需要后续系统继续解决。把这些边界讲清楚，才能判断一项感知突破究竟能为物理智能带来多大增量。
推荐阅读
1. 深入浅出完整解析AI Agent（AI智能体）的核心基础知识
2025年可以说是AI Agent全面落地应用的元年，因此Rocky在持续撰写对AI Agent的全维度解析文章：
深入浅出完整解析AI Agent（AI智能体）的核心基础知识
2. 深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
Rocky对扩散模型的本质原理与和核心基础知识进行了全面系统的深入浅出分析讲解，同时不断跟进补充扩散模型的最新技术发展，希望能给大家带来帮助：
深入浅出完整解析扩散模型DDPM、DDIM、Score-Based、SDE、LDM、Classifier/Classifier-Free Guidance、Rectified Flow核心基础知识
3. 入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识
Rocky对AIGC时代"中场时刻"之后的主流AIGC创作大模型的核心基础知识进行了全面系统的深入浅出分析讲解，力求让大家通俗易懂理解AIGC时代的技术浪潮的本质价值：
入浅出完整解析FLUX.2、Seedream（即梦）、Z-image、GLM-Image核心基础知识
4. 深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
Rocky对FLUX.1 Kontext和FLUX.1 Krea的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析FLUX.1 Kontext和FLUX.1 Krea核心基础知识
5. 深入浅出完整解析DeepSeek系列核心基础知识
Rocky对DeepSeek系列模型的核心基础知识作了全面系统的梳理与解析：
6. 深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识
Rocky对Stable Diffusion 3和FLUX.1的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion 3（SD 3）和FLUX.1系列核心基础知识
7. 深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
Rocky对Stable Diffusion XL的核心基础知识作了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识
8. 深入浅出完整解析Stable Diffusion（SD）核心基础知识
Rocky对Stable Diffusion 1.x-2.x系列模型的核心基础知识做了全面系统的梳理与解析：
深入浅出完整解析Stable Diffusion（SD）核心基础知识
9. 深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
Rocky对Stable Diffusion中最为关键的U-Net结构进行了深入浅出的全面解析，包括其在传统深度学习中的价值和在AIGC中的价值：
深入浅出完整解析Stable Diffusion中U-Net的前世今生与核心知识
10. 深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识
对于AIGC时代中的"ResNet"------LoRA模型，Rocky进行了深入浅出的全面讲解：
深入浅出完整解析LoRA（Low-Rank Adaptation）模型核心基础知识
11. 深入浅出完整解析ControlNet核心基础知识
AIGC图像创作开源社区已经形成以Stable Difffusion/FLUX为核心，ConrtolNet和LoRA作为首要AI辅助工具的变化万千的AIGC图像创作工作流。
ControlNet正是让AI图像创作社区无比繁荣的关键一环，它让AIGC图像创作过程更加的可控，更有助于广泛地将AIGC算法解决方案应用到各行各业中：
12. 深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
AI绘画和AI视频是两个互相促进、相互交融的领域，2024年无疑是AI视频领域的爆发之年，Rocky对AI视频领域核心的Sora、Seedance、Keling等大模型进行了全面系统的梳理与解析：
深入浅出完整解析Sora、Seedance、keling等AI视频大模型核心基础知识
13. 深入浅出完整解析AIGC时代Transformer核心基础知识
在AIGC时代中，Transformer为AI行业带来了深刻的变革。Transformer架构正在一步一步重构所有的AI技术方向，成为AI技术架构大一统与多模态整合的关键核心基座，大有一统"AI江湖"之势。Rocky也对Transformer模型进行持续的深入浅出梳理与解析：
深入浅出完整解析AIGC时代Transformer核心基础知识
14. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
AIGC创作框架正是AIGC算法工作流的运行载体，目前主流的AIGC创作框架有ComfyUI、Diffusers、Stable Diffusion WebUI等 。在传统深度学习时代，PyTorch、TensorFlow以及Caffe是传统深度学习模型的基础运行框架，到了AIGC时代，Rocky相信ComfyUI就是AIGC时代的"PyTorch"、Stable Diffusion WebUI就是AIGC时代的"TensorFlow"、Diffusers就是AIGC时代的"Caffe"：
深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
15. 深入浅出完整解析ComfyUI、Diffusers、Stable Diffusion WebUI等主流AIGC创作框架核心基础知识
在AIGC时代中，如何快速转身，入局AIGC产业？如何成为AIGC/LLM/AI Agent算法/开发工程师？如何在学校中系统性学习AIGC/LLM/AI Agent知识，斩获心仪的AIGC/LLM/AI Agent算法/开发offer？
Don't worry，Rocky为大家总结整理了全面的AIGC/LLM/AI Agent算法/开发工程师成长秘籍，为大家答疑解惑，希望能给大家带来帮助：
手把手教你成为AIGC/LLM/AI Agent算法/开发工程师，斩获AIGC/LLM/AI Agent算法/开发offer！
16. AIGC产业的深度思考与分析
2023年3月21日，微软创始人比尔·盖茨在其博客文章《The Age of AI has begun》中表示，自从1980年首次看到图形用户界面（graphical user interface）以来，以OpenAI为代表的科技公司发布的AIGC模型是他所见过的最具革命性的技术进步。
Rocky也认为，AIGC及其生态，会成为AI行业重大变革的主导力量。AIGC会带来一个全新的红利期，未来随着AIGC的全面落地和深度商用，会深刻改变我们的工作、生活、学习以及交流方式，各行各业都将被重新定义，过程会非常有趣。
那么，在此基础上，我们该如何更好的审视AIGC的未来？我们该如何更好地拥抱AIGC引领的革新？Rocky准备从技术、产品、商业模式、长期主义等维度持续分享一些个人的核心思考与观点，希望能帮助各位读者对AIGC有一个全面的了解：
深入浅出全面解析AIGC时代核心价值与发展趋势（2025年版）
17. AI算法工程师的独孤九剑秘籍
为了方便大家实习、校招以及社招的面试准备，同时帮助大家提升扩展技术基本面，Rocky将符合大厂和AI独角兽价值的算法高频面试知识点撰写总结成《三年面试五年模拟》之独孤九剑秘籍:
【三年面试五年模拟】AIGC时代的算法工程师的求职面试秘籍（持续更新中）
18. 深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识
GAN系列模型作为传统深度学习时代的最热门生成式Al模型，在AIGC时代继续繁荣，作为Stable Diffusion/FLUX系列大模型的"得力助手"，广泛活跃于AlGC图像创作的产品与工作流中：
深入浅出完整解析AIGC时代中GAN（Generative Adversarial Network）系列模型核心基础知识