vla学习 富

基于diffusion

π0

架构

其核心思想是在预训练好的视觉语言模型(VLM)基础上添加一个"动作专家"(action expert),通过流匹配(flow matching)的方式生成连续的高频控制指令。整个架构可以概括为:

  • 预训练VLM Backbone

利用 PaliGemma 等大规模预训练的 VLM,将图像和文本信息嵌入统一的表示空间,继承了互联网规模的语义知识和视觉信息提取能力。

  • 跨机器人平台数据

论文中使用了来自 7 种不同机器人配置、68 个任务的大规模数据(总计约 10,000 小时),实现跨平台、跨任务的联合训练,从而提升模型的泛化能力。

  • 动作生成 via Flow Matching

针对连续动作生成的挑战,论文采用了一种基于扩散思想的流匹配方法(flow matching),使得模型能够生成高频(例如 50Hz)且精细的动作序列。与传统 autoregressive 离散生成方法相比,流匹配可以更好地处理连续控制信号和复杂动作分布。

  • 混合专家(Mixture of Experts)设计

模型内部将输入分为两大部分:一部分(图像和文本)走 VLM backbone;另一部分(机器人状态和动作)通过专门设计的"动作专家"处理,这种设计有助于更好地融合预训练知识和机器人特定的控制需求。

训练流程:预训练 + 后训练

类似大语言模型的训练流程,π0 模型的训练分为两个阶段:

  1. 预训练阶段:利用海量、但可能质量参差不齐的多任务、多平台数据,使模型具备广泛的基础能力和恢复错误的能力。

  2. 后训练(微调)阶段:使用高质量、任务特定的数据对模型进行微调,从而获得更高效、流畅和鲁棒的动作执行策略。后训练阶段能够显著提升模型在复杂、多阶段任务(如叠衣服、组装盒子等)上的表现。

添加链接描述\](https://zhuanlan.zhihu.com/p/19518316721) 这篇博客讲的更详细一些,输入输出, # 其他 π0.5 hi Robot

相关推荐
深栈2 分钟前
机器学习:编码方式
人工智能·python·机器学习·编码
dami_king5 分钟前
RTX4090算力应用-3D
人工智能·深度学习·3d·ai
泰迪智能科技18 分钟前
分享“泰迪杯”数据挖掘挑战赛全新升级——赛题精准对标,搭建 “白名单” 赛事进阶通道
人工智能·数学建模·数据挖掘
萘柰奈19 分钟前
LeetCode刷题记录----62.不同路径(Medium)
算法·leetcode·职场和发展
阳光明媚sunny25 分钟前
爬楼梯算法java实现
算法·动态规划
贝塔实验室1 小时前
LDPC码的概念
科技·学习·程序人生·算法·学习方法·程序员创富·改行学it
weixin_307779131 小时前
矩形势阱(V(x) = -H for |x|≤L)的束缚态能级求解与宇称分类
算法
IT_陈寒1 小时前
Vite 5年迭代揭秘:3个核心优化让你的项目构建速度提升200%
前端·人工智能·后端
doubao361 小时前
审美积累,顶刊论文插图原理图、流程图
人工智能·经验分享·aigc·ai写作·绘图·文献综述·科研绘图
MMjeaty1 小时前
数据结构——栈和队列
数据结构·算法