[2024] [π0] [π0: A Vision-Language-Action Flow Model for General Robot Control]

π0: A Vision-Language-Action Flow Model for General Robot Control, 2024

RT-2 中将动作离散化为 256 个离散 token

  • 缺点:精度受限、动作生硬

π0 通过 Flow Matching 直接输出连续动作,避免离散化

  • 使用一个动作专家

损失函数

L τ ( θ ) = E p ( A t ∣ o t ) , q ( A t τ ∣ A t ) ∥ v θ ( A t τ , o t ) − u ( A t τ ∣ A t ) ∥ 2 L^\tau(\theta) = E_{p(A_t|o_t),q(A_t^\tau|A_t)} \| v_\theta(A_t^\tau,o_t) - u(A_t^\tau|A_t) \|^2 Lτ(θ)=Ep(At∣ot),q(Atτ∣At)∥vθ(Atτ,ot)−u(Atτ∣At)∥2

  • 其中 t 表示机器人的时间步,τ 表示 flow matching 中的时间步
  • 加噪动作:A_t\^τ= τ A_t + (1-τ) ε
  • 目标速度场: u = A t − ε u = A_t - ε u=At−ε
  • ε 是高斯噪声

这个公式对比 Flow Matching 中的 公式 (9)

  • A t A_t At 对应公式 (9) 中的目标数据 x 1 x_1 x1,
  • A t τ A_t^\tau Atτ 对应公式 (9) 中的中间数据 x, 是真实动作块 A t A_t At 在时间 τ 时刻被噪声 "污染" 后的版本

训练目标是得到一个去噪器:学会了如何将任何噪声动作块"拉回"到真实动作流形上

推理时,从随机噪声 A t 0 ~ N ( 0 , I ) A_t^0~ N(0, I) At0~N(0,I) 开始

A t τ + δ = A t τ + δ v θ ( A t τ , o t ) A_t^{\tau+\delta} = A_t^{\tau} + \delta v_\theta(A_t^\tau, o_t) Atτ+δ=Atτ+δvθ(Atτ,ot)

  • 其中 δ 是步长
    RT-2 试图端到端解决规划和控制,而 π 0 π_0 π0 也可以作为一个可插拔、独立的技能执行模块(结合一个高层的规划 VLM)
  • 好处:增加系统可解释性

结论:

  • 预训练模型有一些 zero-shot 的能力,但是复杂任务需要在高质量数据上微调
  • 如果没有预训练,模型会比较脆弱,不会从失败中恢复
  • 如果没有微调,模型经常无法完成流畅的策略
相关推荐
TomEval12 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
AI算力21 小时前
企业调研——工业边缘计算隐形黑马,腾视科技以“硬件+算法”加速出海落地!
人工智能·ai·边缘计算·ai算力·无人叉车·物理ai·ainas
真上帝的左手1 天前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
七夜zippoe2 天前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
装不满的克莱因瓶2 天前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
七夜zippoe2 天前
多轮对话管理:Session/记忆在 Java 后端怎么存(存储设计实战)
java·开发语言·ai·session·记忆
吴名氏.2 天前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
小七-七牛开发者3 天前
周 1 上线 | DSH 喜提原神进场动画,Anthropic 启动 IPO 路演;黄仁勋辞任;微软全球大宕机超 24 小时
ai·大模型·agent·token·工作流·claudecode·ai coding
GISer_Jing3 天前
GitHub热点I
后端·ai·langchain
QuZhengRong3 天前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱