写在前面
【从零走向AGI 】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。
项目地址 🔗：https://ai-mzq.github.io/From-Zero-to-AGI/
〔更多精彩AI内容，尽在 「魔方AI空间 」 ，引领AIGC科技时代〕本文作者：猫先生
导读
π0.7 是 Physical Intelligence 在 2026 年 4 月 16 日发布的机器人基础模型技术报告。它关心的问题不是"VLA 能不能输出动作"这一层，而是更难的一层：一个通用机器人策略能不能把训练中见过的技能、场景、机器人本体和执行策略重新组合，去完成没见过的新任务。
论文的核心方法是 diverse context conditioning 。传统 VLA 通常把语言任务描述作为主要提示，比如"清理厨房"；π0.7 把提示扩展成一组更丰富的上下文：子任务语言、视觉子目标、episode metadata、控制模式、历史观测记忆。这些信息不仅描述"做什么"，也描述"怎么做""做到什么质量""用什么控制方式做""下一步画面应该变成什么样"。
这个设计的直接结果，是 π0.7 可以吃下更杂的数据：高质量演示、失败或低质量演示、自动执行数据、RL specialist 产生的数据、人类第一视角视频、网页多模态数据。杂数据本身会带来模式平均和行为退化，π0.7 的解法是把数据差异显式写进 prompt，让模型在训练时学会区分不同质量、速度、策略和目标状态。
猫先生认为 ，π0.7 最关键的变化，是把机器人策略从"按任务训练"往"按上下文调度能力"推了一步。它不只是把模型做大，也不是单纯堆更多机器人数据；它把语言、目标画面、质量标签和控制方式都变成可操控接口，让同一个 VLA 能在不同任务和机器人之间选择合适的行为模式。
图 1：原论文 Fig. 1 展示了 π0.7 的整体定位：训练侧接入机器人数据和非机器人数据，prompt 中加入语言、子目标图像和 episode metadata，推理侧再用高层策略与世界模型生成可执行上下文。
原文脉络
原文开场把问题放在 compositional generalization 上。语言模型可以把训练中见过的能力重新组合，比如翻译、格式化、推理；机器人 VLA 虽然能处理多任务和多场景，但在"把技能组合成新任务"上仍然受限。π0.7 要证明的是，机器人基础模型也可以出现早期的组合泛化迹象。
第 II 节相关工作把 π0.7 放回几条路线：通用机器人策略、从多源数据学习、跨本体泛化、goal image / subgoal image prompting。第 III 节回顾 flow-based VLA 的基本训练形式。第 IV 到 VII 节是方法主体：先给出 π0.7 总览，再拆解 prompt、训练数据、架构和推理流程。第 VIII 节说明机器人系统。第 IX 节是实验主体，覆盖 out-of-box dexterity、语言跟随、跨本体迁移、组合任务泛化和数据/上下文消融。第 X 节收束到一个判断：更丰富的上下文，是把多源数据变成通用策略能力的关键。
1-2. 背景与相关工作：VLA 的难点从"多任务"走向"组合泛化"
论文对通用机器人的要求很高：模型不能只在训练任务上表现稳定，也要能在新房间、新物体、新机器人和新任务组合里工作。过去的 VLA 已经能从预训练 VLM 迁移知识到动作控制，也能在 Open X-Embodiment 这类跨机器人数据上学习，但它们通常仍依赖任务内数据、后训练或专门 fine-tuning。
相关工作里的三条线与 π0.7 直接相关。第一，VLA 架构本身在加入 memory、层级规划、goal image conditioning。π0.7 继承 π0.6-MEM 的历史观测记忆，并把视觉子目标接进 prompt。第二，多源数据正在进入机器人训练，包括网页数据、人类 egocentric 视频、自动执行数据和 RL rollout。第三，跨本体泛化要求模型不能机械复刻源机器人动作，而要根据目标机器人形态重新选择策略。
猫先生认为 ，前两节服务于一个核心矛盾：机器人数据越多样，训练信号越有价值，也越容易互相冲突。 π0.7 的方法不是先把数据清洗成单一风格，而是把数据里的速度、质量、策略和目标状态都标出来，让模型学会在上下文里选择行为。
3. Flow-Based VLA：π0.7 的基本策略骨架
第 III 节先回顾 VLA 的基本训练形式。模型接收一段历史观测：
o t = I t 1 , ... , I t n , q t \mathbf{o}_t=\\mathbf{I}\^1_t,\\ldots,\\mathbf{I}\^n_t,\\mathbf{q}_t ot=It1,...,Itn,qt
其中包含多路相机图像和机器人状态；模型输出未来一段 action chunk：
a t : t + H \mathbf{a}_{t:t+H} at:t+H
π0.7 使用 flow matching action expert 来生成连续动作，这一点延续了 π0 系列对高频连续控制的处理方式。动作 expert 是一个较小的 transformer，注意 VLM backbone 的激活，用 flow matching 或 diffusion 类目标建模动作的多模态分布。
训练目标可以理解为在上下文 C t \mathcal{C}_t Ct 下最大化动作序列概率：
max θ E D log π θ ( a t : t + H ∣ o t − T : t , C t ) \max_{\theta}\mathbb{E}_{\mathcal{D}}\left\\log\\pi_{\\theta}(\\mathbf{a}_{t:t+H}\\mid\\mathbf{o}_{t-T:t},\\mathcal{C}_t)\\right θmaxEDlogπθ(at:t+H∣ot−T:t,Ct)
关键变化就在 C t \mathcal{C}_t Ct。传统做法里，它通常只是语言指令 ℓ t \ell_t ℓt；π0.7 把它扩展成一组多模态、可缺省、可组合的上下文。这个扩展让模型可以接收更杂的数据源，也能在推理时被更细粒度地控制。
4. π0.7 总览：5B VLA、记忆、世界模型与动作专家
π0.7 建在 π0.6 和 MEM 的基础上，整体约 5B 参数 。它包含三个关键部分：一个约 4B VLM backbone ，一个 MEM-style video history encoder，以及一个约 860M 参数的 action expert。视觉侧使用 SigLIP / Gemma 系列预训练组件，action expert 负责连续动作生成。
推理时，π0.7 不只是接收任务语言。高层策略可以生成子任务指令，轻量世界模型可以生成视觉子目标，episode metadata 指定期望质量和速度，控制模式指定 joint 或 end-effector action。VLA 接收这些上下文后输出 action chunk。
图 2：原论文 Fig. 2 是架构核心图。上方是 π0.7 VLA，输入包含 observation memory、task/subtask instruction、subgoal images 和 metadata；下方的 high-level policy 生成子任务语言，world model 生成视觉子目标。
这个结构有两个重要取向。第一，π0.7 不把"规划"和"控制"完全塞进一个黑盒动作模型，而是允许高层语言策略和世界模型为底层 VLA 提供可解释上下文。第二，它在训练中随机 drop prompt 组件，让模型在推理时可以接受不同上下文组合：只有语言也能跑，有子目标图像更精确，有 metadata 可以指定更快、更高质量、更少错误的行为模式。
5. Diversifying the Prompt：把"怎么做"写进上下文
第 V 节是全文最重要的方法部分。π0.7 的 prompt 主要由四类信息组成。
第一类是 subtask instruction。 总任务可以是"clean the kitchen"，子任务可以是"open the fridge door"。子任务语言把长程任务拆成更短的语义阶段。推理时，子任务可以来自人类实时 coaching，也可以来自训练后的高层策略。
第二类是 subgoal images。 语言能说"打开冰箱门"，但它很难说明手臂应该从哪个角度接近把手、物体应该移动到什么空间状态。π0.7 使用多视角视觉子目标 g t = G t 1 , ... , G t n g_t=G\^1_t,\\ldots,G\^n_t gt=Gt1,...,Gtn，描述近未来场景应该变成什么样。推理时，这些子目标由基于 BAGEL 14B 的轻量世界模型生成。世界模型利用网页图像/视频和机器人数据学习"下一步画面"，再把这种视觉先验传给 VLA。
第三类是 episode metadata。 这部分直接服务于混合质量数据。metadata 包括 episode speed、quality、mistake label。低质量数据不再被简单丢弃，而是被标注为"低质量/慢/有错误"的行为；高质量数据则被标注成模型在测试时应该追求的模式。推理时，论文把 quality 设为最高、mistake 设为 false，并按任务选择更快的 episode length。
第四类是 control mode。 π0.7 同时训练 joint-level 和 end-effector actions，用文本标签指定控制方式。不同机器人和任务对控制模式的适配不同，把控制模式放进 prompt，可以减少跨本体训练时的混淆。
图 3：原论文 Fig. 3 展示 prompt 结构。π0.7 在训练中对不同 prompt 组件做 dropout，使模型既能用完整上下文，也能在缺少某些组件时工作。
猫先生认为，π0.7 的方法核心不是"多加几种输入"，而是把数据里的行为模式显式条件化。失败数据、慢动作、低质量执行和 RL rollout 都可以进入训练，只要模型知道它们是什么类型的行为。这个思路很像把机器人数据从"统一答案"改造成"带标签的行为分布"。
6-8. 训练、推理与机器人系统：让可控上下文真的能跑起来
第 VI 节说明 π0.7 的训练配方。数据包括多机器人、多环境、多任务的演示数据，自动执行数据，人类干预数据，开源机器人数据，egocentric human video，以及网页 VQA、属性预测、文本等辅助非机器人数据。论文特别强调，π0.7 大量使用 suboptimal robot data，包括失败演示和 prior model evaluation episodes。metadata 的作用就是避免这些数据把模型拉向低质量平均行为。
模型架构上，π0.7 使用历史视觉编码器处理最多四路相机、最多六帧历史，并把历史压缩到固定 token 数。subgoal images 通过同一视觉编码器处理。attention 采用 block-causal mask：观测 token 和子目标 token 内部可以双向注意，goal-image token 可以看 observation，文本 token 用 causal attention。
动作侧使用 860M action expert，预测 50 步 action chunk。为了处理真实机器人上的推理延迟，π0.7 使用 real-time action chunking 的训练时版本，模拟 0 到 12 timestep 的延迟，对应 50Hz 机器人上最高约 240ms inference latency。
第 VII 节给出 runtime workflow。每个任务始终提供控制模式和 metadata；子任务语言由人类 coaching 或高层策略给出；subgoal images 在子任务变化或超过 4 秒时刷新；VLA 异步使用最新上下文生成动作。这个设计的工程味很重：高层策略、世界模型和底层 VLA 不要求完全同步，机器人始终用当前可用的上下文继续执行。
第 VIII 节介绍机器人系统。实验覆盖 mobile bimanual robot、static bimanual robot、UR5e bimanual setup 等平台。跨本体实验的关键不在"同一种机械臂换场景"，而是源机器人和目标机器人在尺寸、惯量、工作空间、夹爪精度上都有明显差异。
9. 实验结果：可控上下文在验证什么
9.1 Out-of-the-box dexterity：一个通用模型接近 specialist
Fig. 6 比较 π0.7 与 π0.6 系列的 RL specialist / SFT specialist。任务包括折衣、做 espresso、搭盒子、做花生酱三明治、翻衣服、切西葫芦、削果蔬、倒垃圾等。π0.7 在这些任务上不做 task-specific post-training，却能接近对应 specialist；在 diverse laundry folding 和 box building 上，throughput 甚至超过 RL specialist。
Fig. 7 处理的是训练配方消融。去掉 autonomous evaluation data，模型无法从强策略 rollout 中蒸馏行为；去掉 metadata，混合质量数据中的好坏行为无法区分。两种消融都低于完整 π0.7，差距在 throughput 上更明显。
图 4：原论文 Fig. 6 对比 π0.7 与任务 specialist。π0.7 没有做 task-specific post-training，但在多类 dexterous tasks 上接近 specialist，部分任务的 throughput 还更高。
图 5：原论文 Fig. 7 做 prompt composition 和 autonomous evaluation data 消融。去掉 metadata 或 evaluation data 后，out-of-box 表现都会下降。
9.2 Instruction following：从开放指令到反数据偏置
语言跟随部分覆盖 4 个未见厨房和 2 个未见卧室。每个任务由 3 到 6 步开放指令组成，要求机器人在杂乱环境中执行清理、整理、移动物体等任务。π0.7 相比 π0.5 和 π0.6 有明显提升。
更细的测试是 referential instruction 和 data bias challenge。前者要求模型理解"不常规指称"，比如"拿起用来喝汤的物体""拿起最大盘子上的水果"；后者要求模型违背训练数据里的常见模式，比如把垃圾放进 bussing bin、把碗碟放进垃圾桶。π0.7 的语言跟随能力和 subgoal image conditioning 在这些任务里承担的是同一个角色：把用户的当前意图压过训练数据里的默认行为。
9.3 Cross-embodiment transfer：不是复刻动作，而是换策略
跨本体实验从简单物体重排到洗衣折叠。简单重排任务里，π0.5/π0.6/π0.7 都能展示一定迁移；当源机器人和目标机器人差异变大，π0.7 的优势扩大。论文特别强调 shirt folding：训练数据来自较小的 static bimanual robot，测试在更大、更重、惯量更高的 UR5e bimanual system 上，没有针对 UR5e 的 folding 数据。
π0.7 在 UR5e 上学到的不是源机器人动作的直接复制。源机器人常用倾斜末端执行器压住布料，UR5e 上 π0.7 采用更适合大臂工作空间的垂直抓取策略。论文还做了人类 teleoperator 对比：10 位经验丰富操作者在 UR5e 上 zero-shot folding，平均约 375 小时遥操作经验；π0.7 的 task progress 和 success rate 接近这些操作者的 zero-shot 表现。
9.4 Compositional task generalization：短任务可直接做，长任务可 coaching
组合泛化部分分成短程任务和长程任务。短程任务包括按下 French press、往电饭煲里舀米、擦拭办公用品、转动物体等；论文表示这些任务没有专门收集机器人训练数据，π0.7 可以直接通过语言或生成子目标执行。
长程任务更难，比如"把红薯放进空气炸锅""倒出空气炸锅里的食物""烤 bagel"。直接一句话提示通常不够，π0.7 的语言跟随能力允许人用 step-by-step coaching 现场教它。收集到的 coaching episodes 又能训练高层语言策略，让系统之后自动生成子任务指令，不再需要人实时提示。
9.5 Mixed-quality data 与 diversity：metadata 让数据规模变成收益
Fig. 18 左侧验证 mixed-quality data。论文把折衣数据按质量和速度分成 top 30%、50%、80%、all data，分别训练带 metadata 和不带 metadata 的模型。不带 metadata 时，加入更多低质量数据会让性能下降；带 metadata 时，模型随数据规模扩大继续提升，即使平均数据质量下降。
Fig. 18 右侧验证 task diversity。去掉最具任务多样性的 20% 数据，性能明显下降；随机去掉 20% 数据，影响小得多。这说明 π0.7 不是只从数据量受益，任务多样性本身会转化成未见短程任务上的泛化能力。
图 6：原论文 Fig. 18 展示两件事：metadata 让 mixed-quality data 可以继续贡献收益；高任务多样性数据对短程未见任务泛化很关键。
10. 总结：可控上下文作为 VLA 的训练接口
顺着原文读下来，这篇论文的核心思想可以分成三层。
第一层是数据：通用机器人策略不能只靠干净、同质、高质量的演示数据。真实可扩展的数据会很杂，包含不同机器人、不同策略、失败、低质量执行、自动策略 rollout、人类视频和网页多模态知识。
第二层是上下文：杂数据要能用起来，关键是把差异写进 prompt。π0.7 用语言子任务、视觉子目标、质量/速度/错误 metadata、控制模式和历史记忆，把"做什么"和"怎么做"都变成模型可条件化的输入。
第三层是泛化：当上下文足够丰富，VLA 可以在新任务、新场景和新机器人之间重组能力。论文展示的 air fryer coaching、UR5e zero-shot folding、反数据偏置指令、mixed-quality ablation，都在支撑这个方向。
猫先生认为 ，π0.7 的价值不在于宣布机器人已经拥有完整的"GPT-3 时刻"，而在于把一个可复用的训练原则讲清楚了：不要把多源机器人数据训练成单一平均策略，要把数据里的目标、质量、速度和策略差异保留下来，让模型在上下文中选择。 这条路线的代价也很明显：它依赖大量私有机器人数据、复杂标注体系、世界模型和高层策略协同，复现门槛很高；但作为 VLA 走向可控泛化的技术样板，π0.7 值得认真读。