具身智能之π0.5：如何用异构数据训练开放世界 VLA

写在前面

【从零走向AGI 】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。

项目地址 🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间

猫先生

从零走向AGI

面试面经

AIGC算法岗/开发岗面试面经交流社群 （涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

导读

π0.5 关注的是 VLA 模型从实验室走向真实家庭时会遇到的泛化问题。论文把目标放在厨房、卧室清理这类开放环境长任务上：房间没见过，物体和布局没见过，任务还不是单步抓取，而是持续数分钟、包含多个子任务的真实整理流程。

π0.5 的思路是用 heterogeneous co-training 扩大机器人可调用的知识来源。模型不只学习移动机器人在家庭里的约 400 小时数据，还联合使用非移动机器人数据、跨本体实验室数据、高层语义子任务预测、人工语言指令、多模态网页数据。训练后的模型在推理时先预测高层 semantic subtask，例如 "pick up the plate"，再基于这个子任务生成低层连续动作。

实验结果显示，π0.5 能在未出现在训练集中的真实厨房和卧室里执行 10 到 15 分钟级别的清理任务。随着训练场景数量增加，任务进展和语言跟随能力都会提升；去掉多环境非移动机器人数据或跨本体数据会显著降低表现；相比 π0 和增强版 π0-FAST+Flow，完整 π0.5 在 mock home 任务中更强。

猫先生认为 ，π0.5 的关键价值在于把开放世界泛化拆成两个层次：低层动作需要多机器人、多场景轨迹迁移，高层决策需要语言、网页和语义子任务监督补知识。这也是它和单纯扩大移动机器人数据集最不一样的地方。

论文标题：π0.5: a Vision-Language-Action Model with Open-World Generalization

论文地址：https://www.pi.website/download/pi05.pdf

项目主页：https://pi.website/blog/pi05

原文脉络

Introduction 先把问题放在 open-world generalization：机器人要有用，就必须离开训练环境，在新的家庭、物体和任务组合里工作。Related Work 讨论了通用机器人操作策略、非机器人数据 co-training、语言推理/规划和开放世界机器人系统。

第三节回到 VLA 的基本建模方式，说明 π0 中的 action chunk、tokenizer、flow matching action expert 如何为 π0.5 提供基础。第四节是核心，展开 π0.5 的架构、离散与连续动作结合方式、预训练数据、后训练数据和机器人系统。第五节实验按五个问题展开：真实家庭泛化、训练场景数量、训练配方消融、与 π0 的对比、高层推理机制的重要性。

图 1：π0.5 把多模态网页数据、高层子任务、语言指令和多类机器人动作数据统一进 VLA 训练，用于支持新家庭中的 out-of-the-box 部署。

1-2. 背景与相关工作：开放世界泛化需要多层知识迁移

厨房清理这类任务和传统桌面抓取很不一样。机器人需要识别新物体，判断物体属于哪个任务步骤，选择合适的抽屉、篮子、床铺或水槽，还要把多个动作串成长流程。单靠在少数实验场景里收集更多移动机器人轨迹，很难覆盖这些组合。

π0.5 的相关工作部分把已有路线分成几类。通用机器人策略通过扩大机器人数据分布提升泛化，但多数任务仍偏短，环境也接近训练集。VLA 模型能借助预训练 VLM 的语义知识，并用 flow matching、diffusion 或 action tokenizer 表示复杂动作。语言规划方法通常把高层推理和低层控制拆成两个模型，π0.5 则让同一个模型同时承担高层子任务预测和低层动作生成。

这种定位很清楚：π0.5 不是只追求更大的动作模型，而是在同一个序列建模框架里放入更多类型的监督信号。机器人动作、网页问答、目标检测、子任务标签和人工语言指令都可以变成输入/输出 token 的训练样本。

3. 预备知识：π0 提供了 VLA 与连续动作基础

论文沿用 VLA 的模仿学习设置。给定观察 o t o_t ot 和语言任务指令 ℓ \ell ℓ，模型预测动作 chunk a t : t + H a_{t:t+H} at:t+H，目标是最大化动作的条件似然：

max ⁡ θ E ( a t : t + H , o t , ℓ ) ∼ D $log π θ ( a t : t + H ∣ o t , ℓ )$ \max_{\theta}\mathbb{E}{(a{t:t+H},o_t,\ell)\sim D} \left $\\log \\pi_{\\theta}(a_{t:t+H}\|o_t,\\ell)\\right$ θmaxE(at:t+H,ot,ℓ)∼D $logπθ(at:t+H∣ot,ℓ)$

观察 o t o_t ot 通常包含多路图像和机器人本体状态。VLA 的优势是可以把图像 patch、文本 token、动作 token 放进同一个 Transformer 里。π0 已经使用 action expert 表示连续动作分布：动作生成部分可以小于主干 VLM，并通过 flow matching 产生高频连续动作。

π0.5 继承这个基础，但把目标从"会做多类机器人动作"推进到"在新家庭完成长时程任务"。这要求模型在低层连续控制之外，能够处理任务结构和场景语义。

4. π0.5 模型与训练配方：异构 co-training 加高层子任务

4.1 两阶段训练：先吸收异构知识，再面向移动操作专门化

π0.5 的训练分为 pre-training 和 post-training 两个阶段。预训练阶段把各种数据源汇合到一个初始 VLA 中，包括离散动作 token、语言子任务、开放词表 caption、bounding boxes、网页多模态任务等。后训练阶段专门面向移动操作，加入连续动作 action expert，并利用人工语言指令加强高层子任务预测。

图 2：π0.5 先用多源数据预训练 VLA，再在后训练阶段面向移动操作加入高层子任务预测和连续动作生成。推理时先输出 subtask，再生成低层动作。

推理过程有明显的层次结构。模型拿到高层命令，例如 "clean the bedroom"，先生成低层当前该做的语义子任务，例如 "pick up the pillow"，再把这个子任务作为上下文输入 action expert，生成连续动作。高层推理低频运行，低层动作以 action chunk 形式输出。

猫先生认为，π0.5 的高层子任务不是外接 planner，而是同一个 VLA 的中间输出。这样做的好处是训练数据可以同时塑造"想做什么"和"怎么动手做"，缺点是模型的任务分解能力仍然受训练语料覆盖限制。

4.2 离散动作与连续动作：训练效率和控制精度都要保住

π0.5 同时利用 FAST action tokenizer 和 flow matching。FAST 把动作 chunk 表示为离散 token，适合预训练阶段做 next-token prediction，训练速度更高；flow matching action expert 在后训练阶段负责连续动作，适合实时控制和细粒度动作输出。

论文把模型输出拆成文本 token logits 和动作输出。后训练时的损失由离散文本/动作 token 的交叉熵，以及连续动作 flow matching 损失共同组成：

E D , τ , ω $H ( x 1 : M , f θ ℓ ( o t , ℓ ) ) + α ∥ ω - a t : t + H - f θ a ( a t : t + H τ , ω , o t , ℓ ) ∥ 2$ \mathbb{E}_{D,\tau,\omega} \left $H(x_{1:M}, f_{\\theta}\^{\\ell}(o_t,\\ell)) +\\alpha\\left\\\| \\omega-a_{t:t+H}-f_{\\theta}\^{a}(a_{t:t+H}\^{\\tau,\\omega},o_t,\\ell) \\right\\\|\^2 \\right$ ED,τ,ω $H(x1:M,fθℓ(ot,ℓ))+α ω-at:t+H-fθa(at:t+Hτ,ω,ot,ℓ) 2$

这个设计对应一个取舍：预训练阶段保留离散 token 的规模化训练效率，后训练阶段再用连续动作补足移动机器人真实控制需要的精度。

4.3 数据来源：开放世界泛化来自六类监督

π0.5 的数据配方可以分成几类。

MM 是移动机器人在家庭任务上的数据，大约 400 小时，覆盖 100 个家庭环境，是最接近评测任务的数据。ME 是多环境非移动机器人数据，来自单臂或双臂固定平台，场景更容易扩展。CE 是实验室跨本体数据，包含更多机器人类型和任务。HL 是高层子任务预测数据，训练模型在当前观察下输出语义子任务。WD 是网页多模态数据，包括 image captioning、VQA、object localization 等。VI 是人工语言指令示范，由人类在执行中给机器人逐步下达子任务命令。

图 3：π0.5 的训练数据包含移动机器人、非移动机器人、跨本体机器人、高层子任务、网页多模态数据和人工语言指令。

后训练阶段会过滤机器人动作数据，保留成功且长度合适的 episode，并加入 verbal instruction demonstrations。论文特别强调，97.6% 的第一阶段训练样本并不是移动机器人在家庭中执行目标任务的数据，而是来自其他机器人或网页等来源。泛化能力来自这些异构来源之间的迁移。

5. 实验设置：未见过的新厨房和新卧室

实验使用两类移动操作平台，均有两个 6 DoF 机械臂、平行夹爪、移动底盘和 torso lift。模型直接输出手臂、夹爪、torso lift 的目标姿态，以及底盘速度，控制频率为 50Hz，并使用 action chunking。系统没有额外的轨迹规划或碰撞检测，操作和导航控制都是端到端的。

评测环境分为 mock homes 和 real homes。mock homes 用于可复现量化对比，real homes 用于更贴近真实部署的最终评估。任务包括把物品放进抽屉、把盘子放进水槽、把衣物放进洗衣篮、整理床铺等。

图 4：π0.5 在训练集未出现过的 mock kitchens/bedrooms 和真实家庭中评测。真实家庭结果展示了子任务预测和任务进展。

真实家庭实验覆盖三个厨房和三个卧室。每个任务通常持续 2 到 5 分钟，包含多个阶段。论文用任务进展百分比评估完成度，例如"把一半盘子放进水槽"大约对应 50% 进展。结果显示，π0.5 在真实家庭中的表现和 mock 环境接近，说明 mock 评测并没有严重高估真实部署效果。

6. 实验结果：场景数量、数据配方和高层推理都影响泛化

6.1 训练场景数量越多，开放环境表现越稳定

论文用 3、12、22、53、82、104 个训练位置构建不同规模的数据集，观察模型在未见环境中的任务进展。随着训练位置增加，四个测试任务的平均进展整体提升。104 个位置训练出的模型，在不使用测试家庭数据的情况下，已经接近直接包含测试家庭数据的 in-domain baseline。

图 5：训练场景数量增加后，未见环境中的平均任务进展持续提升；104 locations 模型接近 in-domain baseline。

语言跟随实验也呈现类似趋势。模型需要根据"把剪刀放进抽屉"这类具体指令，在多个干扰物中选择正确物体并完成放置。训练位置增加后，in-distribution 和 out-of-distribution 物体上的 follow rate 与 success rate 都提高，其中 OOD 物体更依赖语义泛化。

6.2 消融实验：跨本体与多环境数据是核心支撑

训练配方消融显示，去掉 CE 或 ME 都会明显降低 mock home 任务表现，同时去掉两者下降更大。WD 在这个 mock home 指标上影响不显著，但在语言跟随和高层推理实验中会体现作用，尤其影响 OOD 物体的语言理解。

图 6：去掉跨本体 CE 或多环境非移动机器人 ME 数据后，mock home 平均任务进展明显下降。

这组结果支撑了论文的主线：移动机器人家庭数据虽然最贴近目标任务，但数量有限。非移动机器人和实验室跨本体数据提供了更丰富的操作变化，网页数据和高层子任务数据则补足语义理解与任务分解。

6.3 与 π0 对比：完整配方比单纯增强动作表示更有效

论文把 π0.5 和原始 π0、以及增强后的 π0-FAST+Flow 对比。π0-FAST+Flow 已经加入 FAST 与 flow matching 的混合动作训练，但不使用 HL 和 WD，也不能做高层推理。结果显示，π0.5 在四个 mock home 任务上整体更高。

图 7：π0.5 相比 π0 和 π0-FAST+Flow 在 mock home 测试中更强，说明提升不只来自动作表示更新，还来自完整 co-training 配方。

高层推理实验进一步说明，完整 π0.5 表现最好。去掉显式 high-level inference 但保留高层数据训练的 implicit HL 仍有不错表现，说明 subtask prediction 数据本身已经帮助模型学习任务结构；完全去掉高层数据或去掉 verbal instruction、web data 都会带来下降。零样本 GPT-4 作为高层策略反而不如训练后的 π0.5，高层策略需要和机器人数据对齐。

图 8：高层推理机制和高层训练数据都会影响表现；外接零样本 GPT-4 高层策略不如 π0.5 自身训练出的高层推理。

7. 讨论与局限：开放世界泛化还需要更强上下文和记忆

π0.5 能在新家庭中完成厨房和卧室整理，但论文也明确列出局限。模型仍会遇到不熟悉把手、抽屉或柜门带来的持续性挑战；手臂遮挡污渍这类部分可观测问题也会影响行为；高层子任务有时会被场景干扰，例如在收拾物品时反复开关抽屉。

另一个边界是上下文长度和记忆。π0.5 能处理相对简单 prompt 下的有序清理任务，但复杂用户偏好、跨房间导航、记住物品存放位置等能力还不充分。论文把更丰富的上下文、更长时记忆、更大数据和更好的合成/人工标注视为后续方向。

总结：π0.5 把 VLA 推向开放世界长任务

顺着原文读下来，π0.5 的核心思想可以分成三层。

第一层是数据：开放世界家庭任务不能只靠目标机器人数据，必须把其他机器人、其他场景、网页知识、语言指令和高层子任务监督放进同一个训练配方。第二层是架构：同一个 VLA 既输出语义子任务，也输出连续动作，形成轻量的层次推理。第三层是评测：真实家庭、mock homes、场景数量 scaling、训练配方消融和模型对比共同说明，π0.5 的提升来自异构 co-training，而不只是动作头换成 flow matching。

猫先生认为，π0.5 是 π 系列里很关键的一步：π0 证明 VLA 可以用 flow matching 做连续控制，π0.5 则把问题推进到陌生家庭里的长任务。它还不是完整的家庭机器人，但已经把"实验室技能"往"开放环境可用策略"推近了一截。