vla学习 富

基于diffusion

π0

架构

其核心思想是在预训练好的视觉语言模型(VLM)基础上添加一个"动作专家"(action expert),通过流匹配(flow matching)的方式生成连续的高频控制指令。整个架构可以概括为:

  • 预训练VLM Backbone

利用 PaliGemma 等大规模预训练的 VLM,将图像和文本信息嵌入统一的表示空间,继承了互联网规模的语义知识和视觉信息提取能力。

  • 跨机器人平台数据

论文中使用了来自 7 种不同机器人配置、68 个任务的大规模数据(总计约 10,000 小时),实现跨平台、跨任务的联合训练,从而提升模型的泛化能力。

  • 动作生成 via Flow Matching

针对连续动作生成的挑战,论文采用了一种基于扩散思想的流匹配方法(flow matching),使得模型能够生成高频(例如 50Hz)且精细的动作序列。与传统 autoregressive 离散生成方法相比,流匹配可以更好地处理连续控制信号和复杂动作分布。

  • 混合专家(Mixture of Experts)设计

模型内部将输入分为两大部分:一部分(图像和文本)走 VLM backbone;另一部分(机器人状态和动作)通过专门设计的"动作专家"处理,这种设计有助于更好地融合预训练知识和机器人特定的控制需求。

训练流程:预训练 + 后训练

类似大语言模型的训练流程,π0 模型的训练分为两个阶段:

  1. 预训练阶段:利用海量、但可能质量参差不齐的多任务、多平台数据,使模型具备广泛的基础能力和恢复错误的能力。

  2. 后训练(微调)阶段:使用高质量、任务特定的数据对模型进行微调,从而获得更高效、流畅和鲁棒的动作执行策略。后训练阶段能够显著提升模型在复杂、多阶段任务(如叠衣服、组装盒子等)上的表现。

添加链接描述\](https://zhuanlan.zhihu.com/p/19518316721) 这篇博客讲的更详细一些,输入输出, # 其他 π0.5 hi Robot

相关推荐
ulias2121 分钟前
各种背包问题简述
数据结构·c++·算法·动态规划
m0_5704664111 分钟前
代码随想录算法训练营第二十八天 | 买卖股票的最佳实际、跳跃游戏、K次取反后最大化的数组和
java·开发语言·算法
和鲸社区17 分钟前
《斯坦福CS336》作业1开源,从0手搓大模型|代码复现+免环境配置
人工智能·python·深度学习·计算机视觉·语言模型·自然语言处理·nlp
吃着火锅x唱着歌18 分钟前
LeetCode 1537.最大得分
算法·leetcode·职场和发展
数模加油站18 分钟前
25高教社杯数模国赛【C题超高质量思路+可运行代码】第十弹
算法·数学建模·数模国赛·高教社杯全国大学生数学建模竞赛
fanstuck19 分钟前
2025 年高教社杯全国大学生数学建模竞赛C 题 NIPT 的时点选择与胎儿的异常判定详解(一)
人工智能·目标检测·数学建模·数据挖掘·aigc
cxr82820 分钟前
Claude Code PM 深度实战指南:AI驱动的GitHub项目管理与并行协作
人工智能·驱动开发·github
ulias21232 分钟前
动态规划入门:从记忆化搜索到动态规划
算法·动态规划
山河君33 分钟前
webrtc之语音活动上——VAD能量检测原理以及源码详解
算法·音视频·webrtc·信号处理
THMAIL1 小时前
深度学习从入门到精通 - LSTM与GRU深度剖析:破解长序列记忆遗忘困境
人工智能·python·深度学习·算法·机器学习·逻辑回归·lstm