vla

天树星智源10 天前
论文阅读·机器人·vla·全身控制
机器人 VLA 一个模型同时动手和动脑:动作参数只占 0.21%,万级扰动任务 85.9%机器人策略的默认架构已经相当稳定:一个视觉语言模型看懂场景、听懂指令,再外挂一个东西把"看懂"翻译成动作。外挂有两种主流写法——把动作维度量化成词表里的 bin 用交叉熵训练,或者另起一个流匹配/扩散的动作专家生成连续轨迹。两条路都能跑,但共享同一个前提:动脑和动手该由不同的参数负责。
兜里只有三分钱~14 天前
机器人·微调·预训练·仿真·vla
启元机器人 π0 与 GR00T N1 对比:VLA 模型的两条技术路线本文所有关键数据均标注来源(两篇论文 arXiv 原文 / 官方发布页),文末附来源清单。具身智能圈这两年最常被问到的一个问题是:为什么大语言模型能靠「一个模型、全网数据、微调适配」通吃 NLP,而机器人策略却始终卡在「换一台机器就要重训、换一个任务就要重采」的怪圈里?
大江东去浪淘尽千古风流人物17 天前
机器人·vla·评测基准·机器人操纵·robodojo·sim-to-real
【RoboDojo】仿真与真实双轨机器人操纵基准:测试流程与防作弊机制深度解析RoboDojo 是一个将仿真评测与真实机器人评测统一到同一套协议下的通用操纵策略基准:RoboDojo-Sim 基于 Isaac Sim 异构并行仿真,覆盖 42 个任务、5 个能力维度,以 3 组随机种子报告均值与标准差;RoboDojo-RealEval 则用标准化真机工作站把 18 个真实任务开放给远程云端 24 小时连续评测,覆盖 3 种机械臂具身。两条管道都通过 XPolicyLab 统一接入,并靠"隐藏布局一致性验证"防止策略在公开测试集上过拟合或被人工调参。本文梳理其测试流程、评分口径与防
Felaim18 天前
runtime·vla·vln·harness·分层导航
【VLN】NavGPT-3分层导航运行时一句话定位 用 Harness + 类 OS 运行时 把「慢而强的 LLM Planner」接到「快而专的 NavGPT VLA」上:工具管空间上下文与路线修补,Motion Authority 管谁能动;完整系统在 R2R-CE 达 81.51 SR,RxR-CE 首次逼近人类跟随者(90.43 vs 90.4 SR)。
猫先生Mr.Mao19 天前
机器人·强化学习·具身智能·vla·世界模型·thinkworld
让动作先接受“未来检验”:ThinkWorld 如何用世界想象强化机器人推理【从零走向AGI】旨在深入了解通用人工智能(AGI)的发展路径,从最基础的概念起,逐步构建完整的知识体系。 项目地址🔗:https://github.com/AI-mzq/From-Zero-to-AGI.git
河图洛水20 天前
机器人·具身智能·vla·hil·纠错
χ₀: Kai0 用 MA / SA / TDA 驯服机器人学习的分布不一致χ₀ 不是新的 VLA 骨架,而是在开源 π₀.₅ 上,用「资源可承受」的三件套,把长程衣物双臂操作做到接近产线稳。创新主要在 问题形式化 + 三块对准分布的方法 + 系统级闭环,不在「又一个更大的端到端网络」。
滴啦嘟啦哒20 天前
笔记·python·vla·具身
【具身笔记】【原理探究】一、对PI05源码的实践笔记本系列为我在vla上的同步实践笔记,之前的实践中我大多都是在调用指令、修改参数,没有去深入了解相关的底层原理,因此在本系列中我将尽可能地探究底层原理。本文将展示我对PI05的基本原理和代码实践。
飞猫的边缘AI20 天前
人工智能·机器人·vla·ai模型·边缘ai·视觉语言动作模型·vfa
机器人基础模型的两种赌注:VLA与VFA在机器人基础模型领域,VLA(视觉-语言-动作)和VFA(视觉-力-动作)代表两种不同技术路径。VLA现阶段主要依赖人类演示数据,擅长语义理解与任务泛化,但在物理交互精度上有短板,代表公司为美国Physical Intelligence(2024年创立)。VFA是把力反馈作为核心模态,通过仿真强化学习让机器人自主习得物理直觉,擅长灵巧操作,但语言指令跟随能力较弱,代表公司为美国Eka Robotics(2025年创立) 。
河图洛水21 天前
机器人·具身智能·灵巧操作·vla·ego
HumanEgo:机器人不模仿人的身体,只复现手与物体的关系HumanEgo 最主要的原创不是 flow matching,也不是用了某个更大的模型,而是:用 Interaction-Centric Token(ICT)把“模仿人的身体”改写成“复现手—物体交互几何”。
河图洛水21 天前
3d·大模型·具身智能·vla·ego
UniDex-VLA:用人类第一视角视频,训出能跨 8 种灵巧手的 3D VLA论文把贡献拆成三块:UniDex-Dataset、FAAS + UniDex-VLA、UniDex-Cap + 人机共训。 方法上,UniDex-VLA 基本是 π0 骨架 + Uni3D 点云 + FAAS;真正拉开差距的是 人类视频 → 机器人可执行轨迹 的数据管线,以及 跨多种灵巧手的统一动作表示。
滴啦嘟啦哒22 天前
笔记·python·vla·具身
【具身笔记】【Piper+PI0.5】三、探究失败原因本系列为我在vla上的第二个实践:基于piper机械臂完成数据采集--格式转换--pi05微调 --评估--panda支线对比。再上一篇文章中,我在自己的数据集上进行了多轮微调及评估,最终对比piper和panda两臂的结果,发现panda不管在同分布样本还是OOD样本上都有不错的表现,piper在同分布上的表现尚可(42/50),但OOD样本上表现出明显的泛化能力不足(14/50),本篇文章将尝试做一些推理阶段的消融实验,对比两臂在改变某些推理和训练参数设定后表现如何。
Light Gao22 天前
机器人·具身智能·vla·模仿学习·lerobot
LeRobot 全链路原理:用一个“1+1=2“的例子讲透机械臂与模型如何接入本文用一个贯穿到底的例子,讲清楚 LeRobot 是什么、它定义了哪些"协议"、一台新机械臂和一个新模型分别要怎么接入,以及 6 个舵机和 12 个舵机的机器人如何被同一种模型适配。文中结论对照过 LeRobot 源码(基于 LeRobot 0.6.x 的分支阅读);为了讲清楚,例子里虚构了一个新模型 “MiniVLA” 和一台新机械臂 “双臂 12 舵机”。代码是简化版,但类名、方法名与真实 LeRobot 一致。
feasibility.25 天前
人工智能·gpt·机器人·具身智能·vla·harness·rsi
具身智能的进化分水岭:GPT-6-Astra踏进能力门,却卡在实用门——商汤联合团队开源RoboRSI:Harness递归改进能否填平这道落地鸿沟?一句话总结:商汤联合团队(SenseNova + ACE Robotics + Ropedia + 南洋理工大学 + 东京大学等)用一份技术报告回答了全行业都在问的问题——通用大模型是否已经"长出身体"?他们的结论是:GPT-6-Astra 已跨过"具身能力"(embodied competence)的门槛,但尚未跨过"实用具身智能"(practical embodied intelligence)的门槛;而伴随开源的 SenseNova-RoboRSI 框架与 27B 模型,则试图把这条鸿沟变成一条可递
滴啦嘟啦哒1 个月前
笔记·vla·具身
【具身笔记】【Piper+PI0.5】一、基于键盘实现数据采集本系列为我在vla上的第二个实践:基于piper机械臂完成数据采集--格式转换--pi05微调--评估--panda支线对比。本文主要介绍如何实现基于键盘遥操作采集数据。
Robot_Nav1 个月前
vla·人形机器人·通用全身移动操作
RSS 2026|Ψ₀:迈向通用人形机器人移动操作的开源基础模型【文献解读】文献:Ψ₀: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation 会议:Robotics: Science and Systems(RSS 2026,机器人科学与系统会议); 作者:Songlin Wei, Hongyi Jing, Boqian Li, Zhenyu Zhao, Jiageng Mao, Zhenhao Ni, Sicheng He, Jie Liu, Xiawei Liu, Kaidi Kang,
Felaim1 个月前
vla·双系统·vln·internvla-n1·pixel-goal
InternVLA-N1双系统视觉语言导航一句话 把「听懂导航指令」和「脚下怎么走」拆成两个系统:慢的 System 2 用 7B 视觉语言模型在图上指出下一步该去哪;快的 System 1 用扩散策略每秒几十次生成避障轨迹。中间不用含糊的像素点,而用学出来的 潜在计划;只在仿真训,真机可零样本换轮式 / 四足 / 人形。
滴啦嘟啦哒1 个月前
笔记·python·vla·具身
【具身笔记】【π0.5 微调与仿真】五、在MuJoCo中实现可视化仿真本系列为我在vla上的第一个实践:基于lerobot做π0.5的推理 、微调 、仿真。本文主要介绍在在MuJoCo中实现可视化仿真。
滴啦嘟啦哒1 个月前
笔记·python·ros·vla
【具身笔记】【π0.5 微调与仿真】三、libero数据可视化本系列为我在vla上的第一个实践:基于lerobot做π0.5的推理、微调 、仿真。本文主要介绍libero数据集的可视化。
猫先生Mr.Mao1 个月前
机器人·论文解读·具身智能·vla·京东·wla3
具身智能之京东 WLA³详解:用世界状态转换统一人类视频和机器人动作【从零走向AGI】旨在深入了解通用人工智能(AGI)的发展路径,从最基础的概念起,逐步构建完整的知识体系。 项目地址🔗:https://github.com/AI-mzq/From-Zero-to-AGI.git
朝朝辞暮i1 个月前
人工智能·pytorch·深度学习·transformer·vla
第 22 课:Conditional 1D U-Net——Diffusion Policy 怎样理解一整段未来动作?上一课我们已经完成了 Diffusion Policy 最重要的一段数学基础:从前向加噪的概率模型出发,理解网络如何预测噪声,以及 DDPM 如何逐步生成动作。