vla学习 富

基于diffusion

π0

架构

其核心思想是在预训练好的视觉语言模型(VLM)基础上添加一个"动作专家"(action expert),通过流匹配(flow matching)的方式生成连续的高频控制指令。整个架构可以概括为:

  • 预训练VLM Backbone

利用 PaliGemma 等大规模预训练的 VLM,将图像和文本信息嵌入统一的表示空间,继承了互联网规模的语义知识和视觉信息提取能力。

  • 跨机器人平台数据

论文中使用了来自 7 种不同机器人配置、68 个任务的大规模数据(总计约 10,000 小时),实现跨平台、跨任务的联合训练,从而提升模型的泛化能力。

  • 动作生成 via Flow Matching

针对连续动作生成的挑战,论文采用了一种基于扩散思想的流匹配方法(flow matching),使得模型能够生成高频(例如 50Hz)且精细的动作序列。与传统 autoregressive 离散生成方法相比,流匹配可以更好地处理连续控制信号和复杂动作分布。

  • 混合专家(Mixture of Experts)设计

模型内部将输入分为两大部分:一部分(图像和文本)走 VLM backbone;另一部分(机器人状态和动作)通过专门设计的"动作专家"处理,这种设计有助于更好地融合预训练知识和机器人特定的控制需求。

训练流程:预训练 + 后训练

类似大语言模型的训练流程,π0 模型的训练分为两个阶段:

  1. 预训练阶段:利用海量、但可能质量参差不齐的多任务、多平台数据,使模型具备广泛的基础能力和恢复错误的能力。

  2. 后训练(微调)阶段:使用高质量、任务特定的数据对模型进行微调,从而获得更高效、流畅和鲁棒的动作执行策略。后训练阶段能够显著提升模型在复杂、多阶段任务(如叠衣服、组装盒子等)上的表现。

添加链接描述\](https://zhuanlan.zhihu.com/p/19518316721) 这篇博客讲的更详细一些,输入输出, # 其他 π0.5 hi Robot

相关推荐
励志要当大牛的小白菜2 小时前
ART配对软件使用
开发语言·c++·qt·算法
qq_513970442 小时前
力扣 hot100 Day56
算法·leetcode
白-胖-子2 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
PAK向日葵3 小时前
【算法导论】如何攻克一道Hard难度的LeetCode题?以「寻找两个正序数组的中位数」为例
c++·算法·面试
想要成为计算机高手4 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道4 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.05 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
爱喝矿泉水的猛男5 小时前
非定长滑动窗口(持续更新)
算法·leetcode·职场和发展
小楓12015 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
YuTaoShao5 小时前
【LeetCode 热题 100】131. 分割回文串——回溯
java·算法·leetcode·深度优先