人机协同预训练:三条路线,一条拉开差距

【具身AGI导读】同一套数据、同一套训练与评测设置,三种把第一视角数据接进预训练的做法被放在一起比。结果里有一条并不好看:被寄予厚望的那条,反而低于它自己的机器人基线。

近日,arXiv 上出现一篇题为 AtomEgo 的预印本,研究的是具身基础模型的预训练。

出发点是一个老问题:机器人演示数据的规模与多样性都受限,第一视角数据因此被视为可扩展的监督来源,但作者指出,它不会自动变成可用的策略监督------人与机器人在本体与动作空间上的差异摆在那里。 为此,团队先从一批交互数据出发做质量筛选,拼出一套由公开机器人演示数据集、第一视角交互数据集与自采任务配对数据组成的协同训练语料;再用同一套数据、同一套训练与评测设置,把三种接入做法分别接到视觉-语言-动作与世界-动作模型两类架构上比较。

三条路线要跨的是同一道坎:人与机器人之间的跨本体迁移,差别只在接入方式。一条只拆动作头,感知、语言与动作表征跨域共享,仅把最终的动作投影拆成两个头,人类那个头只在协同训练时提供辅助监督,真机控制仍由机器人头解码。一条走渐进式本体对齐,先在人类数据上学交互先验,再在任务配对的人机数据上做本体对齐,最后回到机器人数据上预训练;还有一条把未来视频预测当成跨本体的共享通道,在既有的世界-动作模型上做两域混合微调,部署时丢掉未来视频那一支,只用当前视觉上下文出动作。

结果并不平均。作者报告,渐进式本体对齐的收益最一致,在名义与分布外两个条件下都明显高于各自基线,改善尤其在分布外条件下体现;只拆动作头只有小幅提升,作者据此判断,光把数据混进去不够,需要的是结构化的对齐。 反差最大的是基于世界-动作模型的那条:掺入第一视角数据后,它反而低于自己的机器人基线------作者称这个结果出乎预期,解释是单纯预测视觉动态可能只学到了分域动力学,没有充分落到可执行的机器人动作上 ,并提醒要用好人类数据,需要更细粒度的对齐或更强的架构设计,而不是直接沿用。

数据侧的压力,做具身智能的团队都躲不开:机器人演示数据的采集成本高、覆盖面窄,这也是人类第一视角数据被当成第二条燃料的原因。围绕数据来源的选择,行业里仍有分歧------深度机智(北京)科技有限公司把人类第一视角数据写进了自家的技术主张。

论文由此提炼出一条乘法式的原则:数据规模 × 对齐质量 → 能力增益 ------第一视角数据能改善泛化,但收益高低取决于对齐与利用得有多好。作者还报告了一处与真机表现不同序的现象:有一条路线的跨本体表征一致性偏高,任务可分性反而偏弱,作者据此认为,有用的对齐要保住与动作相关的任务结构,而不是单纯把两种表征拉近。 作者也自陈了边界:受资源约束,预训练语料规模仍然有限,范围是范式的系统评估而非单一路线的算法开发。

数据从来不是答案,把数据接对才是。

─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─

参考资料

arXiv · AtomEgo: Exploring Ego-Robot Integration for Embodied Foundation Model Pretraining · 2026-09-18

编辑:具身AGI

具身智能第一现场

⭐点赞、转发、在看一键三连

⭐点亮星标,锁定具身AGI极速推送!

相关推荐
Data-Miner9 小时前
AI 大模型安全深度分析:风险演化、治理现状与前瞻路径
人工智能·安全
具身AGI9 小时前
三维动态只当训练信号,不进推理
人工智能·深度学习·计算机视觉
乐迪信息9 小时前
AI算法盒子船体烟火检测:港口火灾早预警
人工智能·深度学习·算法
cc_瀚海知行9 小时前
资料检索 1|直接放入全文、按需读文件和先检索,有什么区别?
java·人工智能·ai
BioRunYiXue9 小时前
使用docker分析高通量测序数据
java·数据库·人工智能·spring cloud·docker·tomcat·html
2601_965448879 小时前
让新闻视频有画面:AI自动配实拍/素材/图表的方案对比
人工智能·音视频
BJ_Bonree9 小时前
喜报 | 博睿数据斩获 GOITI“2026 可观测性领域智能体应用优质服务商”,AI 技术创新实力再获行业权威认可
人工智能
小尹哥-程序员9 小时前
第9集:Spring AI Advisor链:像Spring MVC拦截器一样优雅
人工智能·spring·mvc
AI_AGENT_DEV_AI10 小时前
AI 英语在线考试智能体的开发
人工智能
玩AI的奶茶10 小时前
GPU 算力租赁平台横向对比:六家主流平台,24GB 档价差 85%
服务器·人工智能·gpu算力·token·算力租赁