1.7B打赢8B:看了UNITAS的3D原生架构,发现“不经图片Token”才是具身智能的真护城河

摘要:1.7B参数的UNITAS在LIBERO基准上取得99.8%平均成功率,全面超越6B的Fast-WAM和8B的Motus。参数少了3到4倍,成功率反而更高。靠的不是模型更大,是世界模型直接作用在三维Token上,不经过图片Token这座桥。

一、1.7B打赢6B和8B:不合常理的数据

基准 UNITAS(1.7B) 对比模型
LIBERO平均成功率 99.8% Fast-WAM(6B)、Motus(8B)被全面超越
LIBERO-Long子集 99.4% 保持高位SOTA
LIBERO-Plus 89.1% 全面超越
RoboTwin 2.0 Clean 92.94% 全面超越
RoboTwin 2.0 Randomized 93.04% 全面超越
真实机器人任务 85%平均 验证仿真到现实的迁移潜力

RoboTwin 2.0覆盖50个双臂任务、5种机器人本体、超过10万条专家轨迹。在这个基准上全面领先,说明UNITAS的泛化能力不只是仿真环境的过拟合。

二、翻译税:具身智能最大的隐性成本

今天具身智能的主流做法是:感知用一套表示,动作用另一套表示,世界变化再用第三套表示。同一个推杯子的动作,换个相机视角,像素变化就不同。模型的能力,被消耗在了不同特征空间之间的翻译上。

这就像让一个不懂中文的人做同声传译,先翻成英文,再翻成法文,最后翻回中文。每一步都损失信息,每一步都消耗算力。

UNITAS提出的问题是:如果有一个统一的空间,让观察、动作、世界变化都直接在那里表达,翻译还需要吗?

三、3D原生:不经过图片Token这座桥

对比维度 主流世界模型 UNITAS
基本单元 图像Patch或视觉潜变量 三维点云Token
中间桥梁 图片Token 无,直接在三维空间
空间一致性 视角相关,像素距离不等于物理距离 世界坐标系,距离即物理距离
跨本体迁移 不同机器人需重新适配 人手和夹爪共享同一表示

照片是投影,房间是本身。

UNITAS的核心机制是用两条三维点轨迹流描述完整的物理交互。动作流描述人手或夹爪关键点如何随时间在三维空间中移动。场景流以动作流为条件,描述杯子、桌面等场景中的点如何移动。

关键设计在于:这两条流在同一个三维坐标系中端到端联合建模。不是先预测动作、再单独预测世界变化,而是一次推理同时输出两者。

四、两个支撑机制

世界对齐三维位置嵌入:把视觉Token锚定在统一的世界坐标系中。无论输入是否包含深度信息,模型都能知道每个Token对应的三维空间位置。

物理时间轨迹分词器:把每个点的轨迹编码为一个Token,锚定在该点的当前三维位置上。一条随时间变化的轨迹,在模型中只占一个Token的位置。

五、两个可以直接迁移的判断

第一,检查你的具身系统有没有翻译税。你的观察、动作和世界预测,是否使用了不同的表示空间?如果是,模型的一部分参数预算被消耗在了翻译上。消除翻译层的收益,可能比增加参数量更大。

第二,不再相信参数越大越强。UNITAS用1.7B打赢6B和8B的事实证明:当表示空间对的时候,参数效率可以提升一个数量级。

检验一个具身模型是否真的3D原生了:模型的输入Token是否直接来自三维坐标,而不是从二维图像推断出来的?动作输出和场景预测是否在同一个坐标系中表达?更换机器人本体时,是否需要重新训练动作输出头?

如果三个问题的答案都是否,那么这个模型只是在二维架构外面套了一层三维外壳,本质上仍然在做翻译。

查看原文

以上仅为核心速览。完整版包含:UNITAS完整架构拆解、双流建模代码级分析、World-aligned位置嵌入与Physical-time分词器技术细节、与Fast-WAM/Motus/PointWorld的消融对比实验、真实机器人任务完整数据、以及边界条件与后续验证方向。

本文首发于微信公众号「阿Q的AI笔记」,点击下方链接阅读全文:

1.7B打赢8B:看了UNITAS的3D原生架构,发现"不经图片Token"才是具身智能的真护城河

相关推荐
QinHsiu1 小时前
90%的AI项目失败,都栽在同一件事上:数据准备占了80%工作量,却还在“手工坊”阶段
人工智能
桃桃乌龙_1 小时前
一文讲透 Prompt(提示词):用自然语言编程模型的接口
人工智能·llm
溯朢1 小时前
AI生成的SQL,凭什么敢直接跑在生产库上
人工智能
数字生命斯派克1 小时前
github一个神级skill:把技术概念做成一台真机器或者任何的科普视频
人工智能
alonglong1 小时前
三个跨平台的 shell 编码陷阱:零宽字符、locale 与 bash 版本差异
人工智能
zyl7651 小时前
从 PPO 到 DPO、IPO 与 GRPO:RLHF 训练流程与公式推导
人工智能
老牛日常随笔1 小时前
74B 塞进 24GB:NVIDIA 新开源模型,把本地智能体的门槛砍了一刀
人工智能·ai
QinHsiu1 小时前
ChatGPT还在写作文,Jev已开始做选择题:快193倍、便宜445倍,硅谷集体杀入“第二赛道”
人工智能