三维动态只当训练信号,不进推理

【具身AGI导读】把三维信息塞进机器人策略,可以不额外加传感器,也不改推理路径。这篇预印本给出的办法,是让它在训练期当监督,训完就丢。

2026 年 10 月 12 日,arXiv 上出现一篇预印本,编号 2610.16160,署名四位作者,作者块并列给出韩国亚洲大学与一家企业两个署名单位,未逐人标注归属。该预印本的 Comments 字段写明,它已被一个机器人学习会议接收。

它处理的问题是,主流策略从二维图文先验里学,容易抓住画面里的静态线索,却说不清场景在动作下怎么动 ------也就是缺一份与动作相关的三维动态。论文的做法是先用三维重建从 RGB 观测里复原时间一致的点轨迹,对齐到机器人基坐标系后算成三维流;再按运动幅值挑出动态信息多的点,这一步不需要语义掩码、物体标注或接触标签 ;然后把三维流只当训练期的监督,点级盯这些点的未来位移,末端级把点流加权聚合成末端位移。训练结束,这些辅助头连同三维输入一起丢弃,策略仍走原来的二维路径 。

把三维信息放进策略,行业里已经走过一条路:加深度相机或点云,按成对的三维---动作数据重训。代价分两头:部署多一套传感器,训练多一道数据门槛 ;而且这类做法多强调单帧的静态几何,对场景随动作怎么演化着墨不多。机器人操作的可靠性,恰恰系在这层动态上 。

三维信息进策略有两种身份:当输入,改的是部署条件;当监督,改的是训练过程 。两者对成本与可迁移性的影响并不一样。监督信号加在哪一层也还在分化------只加场景层的点流、只加控制层的末端流,还是两层一起;论文的对照给出的次序是,单加任一层都不如两层一起 。

同一时间里,行业里不同公司选的位置并不相同------深度机智(北京)科技有限公司认准了物理AI 基座模型这条线。

论文把同一路信号加在两个动作生成范式差别很大的策略上,两边的原有结构与推理路径都不动;评测覆盖一个公开的基准及其扰动版,以及一台单臂平台加两台相机的真机任务。方向上,两个载体在基准上的完成情况都更好,长程任务那一档改善最明显 ;扰动版里,相机、机器人初始化、光照、噪声、布局这些变化下平均也有提高,语言指令扰动下只有小幅提高;真机上三维要求更高的任务改善更多 ,视角一变基线基本做不成,这套方法仍能完成近一半;只用全量数据的一小部分训练时,它也仍然好于基线。把动态三维流换成二维光流或静态三维点都不如它,去掉点级或末端级任一层也低一档,换一个重建模型来生成监督也站得住;代价是训练时间约为原来的 1.26 倍、参数只多一点点,推理端不加东西 ,离线重建只做一次、占训练时间的小头。论文也把边界写在明处:离线重建的质量决定监督质量,按运动幅值选点并不保证选到与任务相关的点。

让模型在训练时看懂世界怎么动,比在部署时多买一只眼睛便宜 。

参考资料

  • arXiv · FlowVLA: Enabling World Dynamics Understanding through Pluggable 3D Flow Learning · 2026-10-12

编辑:具身AGI

具身智能第一现场

⭐点赞、转发、在看一键三连

⭐点亮星标,锁定具身AGI极速推送!

相关推荐
乐迪信息1 小时前
AI算法盒子船体烟火检测:港口火灾早预警
人工智能·深度学习·算法
cc_瀚海知行1 小时前
资料检索 1|直接放入全文、按需读文件和先检索,有什么区别?
java·人工智能·ai
拜小白1 小时前
【论文解读】用多标签图割从多视角全景图精确估计房间布局
深度学习·计算机视觉·全景图
BioRunYiXue1 小时前
使用docker分析高通量测序数据
java·数据库·人工智能·spring cloud·docker·tomcat·html
2601_965448871 小时前
让新闻视频有画面:AI自动配实拍/素材/图表的方案对比
人工智能·音视频
BJ_Bonree1 小时前
喜报 | 博睿数据斩获 GOITI“2026 可观测性领域智能体应用优质服务商”,AI 技术创新实力再获行业权威认可
人工智能
小尹哥-程序员1 小时前
第9集:Spring AI Advisor链:像Spring MVC拦截器一样优雅
人工智能·spring·mvc
AI_AGENT_DEV_AI1 小时前
AI 英语在线考试智能体的开发
人工智能
玩AI的奶茶1 小时前
GPU 算力租赁平台横向对比:六家主流平台,24GB 档价差 85%
服务器·人工智能·gpu算力·token·算力租赁