vla

河图洛水6 小时前
3d·大模型·具身智能·vla·ego
UniDex-VLA:用人类第一视角视频,训出能跨 8 种灵巧手的 3D VLA论文把贡献拆成三块:UniDex-Dataset、FAAS + UniDex-VLA、UniDex-Cap + 人机共训。 方法上,UniDex-VLA 基本是 π0 骨架 + Uni3D 点云 + FAAS;真正拉开差距的是 人类视频 → 机器人可执行轨迹 的数据管线,以及 跨多种灵巧手的统一动作表示。
滴啦嘟啦哒1 天前
笔记·python·vla·具身
【具身笔记】【Piper+PI0.5】三、探究失败原因本系列为我在vla上的第二个实践:基于piper机械臂完成数据采集--格式转换--pi05微调 --评估--panda支线对比。再上一篇文章中,我在自己的数据集上进行了多轮微调及评估,最终对比piper和panda两臂的结果,发现panda不管在同分布样本还是OOD样本上都有不错的表现,piper在同分布上的表现尚可(42/50),但OOD样本上表现出明显的泛化能力不足(14/50),本篇文章将尝试做一些推理阶段的消融实验,对比两臂在改变某些推理和训练参数设定后表现如何。
Light Gao2 天前
机器人·具身智能·vla·模仿学习·lerobot
LeRobot 全链路原理:用一个“1+1=2“的例子讲透机械臂与模型如何接入本文用一个贯穿到底的例子,讲清楚 LeRobot 是什么、它定义了哪些"协议"、一台新机械臂和一个新模型分别要怎么接入,以及 6 个舵机和 12 个舵机的机器人如何被同一种模型适配。文中结论对照过 LeRobot 源码(基于 LeRobot 0.6.x 的分支阅读);为了讲清楚,例子里虚构了一个新模型 “MiniVLA” 和一台新机械臂 “双臂 12 舵机”。代码是简化版,但类名、方法名与真实 LeRobot 一致。
feasibility.4 天前
人工智能·gpt·机器人·具身智能·vla·harness·rsi
具身智能的进化分水岭:GPT-6-Astra踏进能力门,却卡在实用门——商汤联合团队开源RoboRSI:Harness递归改进能否填平这道落地鸿沟?一句话总结:商汤联合团队(SenseNova + ACE Robotics + Ropedia + 南洋理工大学 + 东京大学等)用一份技术报告回答了全行业都在问的问题——通用大模型是否已经"长出身体"?他们的结论是:GPT-6-Astra 已跨过"具身能力"(embodied competence)的门槛,但尚未跨过"实用具身智能"(practical embodied intelligence)的门槛;而伴随开源的 SenseNova-RoboRSI 框架与 27B 模型,则试图把这条鸿沟变成一条可递
滴啦嘟啦哒6 天前
笔记·vla·具身
【具身笔记】【Piper+PI0.5】一、基于键盘实现数据采集本系列为我在vla上的第二个实践:基于piper机械臂完成数据采集--格式转换--pi05微调--评估--panda支线对比。本文主要介绍如何实现基于键盘遥操作采集数据。
Robot_Nav8 天前
vla·人形机器人·通用全身移动操作
RSS 2026|Ψ₀:迈向通用人形机器人移动操作的开源基础模型【文献解读】文献:Ψ₀: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation 会议:Robotics: Science and Systems(RSS 2026,机器人科学与系统会议); 作者:Songlin Wei, Hongyi Jing, Boqian Li, Zhenyu Zhao, Jiageng Mao, Zhenhao Ni, Sicheng He, Jie Liu, Xiawei Liu, Kaidi Kang,
Felaim8 天前
vla·双系统·vln·internvla-n1·pixel-goal
InternVLA-N1双系统视觉语言导航一句话 把「听懂导航指令」和「脚下怎么走」拆成两个系统:慢的 System 2 用 7B 视觉语言模型在图上指出下一步该去哪;快的 System 1 用扩散策略每秒几十次生成避障轨迹。中间不用含糊的像素点,而用学出来的 潜在计划;只在仿真训,真机可零样本换轮式 / 四足 / 人形。
滴啦嘟啦哒9 天前
笔记·python·vla·具身
【具身笔记】【π0.5 微调与仿真】五、在MuJoCo中实现可视化仿真本系列为我在vla上的第一个实践:基于lerobot做π0.5的推理 、微调 、仿真。本文主要介绍在在MuJoCo中实现可视化仿真。
滴啦嘟啦哒10 天前
笔记·python·ros·vla
【具身笔记】【π0.5 微调与仿真】三、libero数据可视化本系列为我在vla上的第一个实践:基于lerobot做π0.5的推理、微调 、仿真。本文主要介绍libero数据集的可视化。
猫先生Mr.Mao13 天前
机器人·论文解读·具身智能·vla·京东·wla3
具身智能之京东 WLA³详解:用世界状态转换统一人类视频和机器人动作【从零走向AGI】旨在深入了解通用人工智能(AGI)的发展路径,从最基础的概念起,逐步构建完整的知识体系。 项目地址🔗:https://github.com/AI-mzq/From-Zero-to-AGI.git
朝朝辞暮i14 天前
人工智能·pytorch·深度学习·transformer·vla
第 22 课:Conditional 1D U-Net——Diffusion Policy 怎样理解一整段未来动作?上一课我们已经完成了 Diffusion Policy 最重要的一段数学基础:从前向加噪的概率模型出发,理解网络如何预测噪声,以及 DDPM 如何逐步生成动作。
朝朝辞暮i14 天前
人工智能·深度学习·神经网络·transformer·vla
VLA 系统学习第 21 课——DDPM 与 Noise Scheduler:扩散模型究竟怎样从随机噪声生成机器人动作?想先说明一下,ddpm这里讲的并不好,比如说为什么系数要用根号值,为什么没有用条件概率表示却突然用epsilon去逼近神经网络最优参数等等,其中包含一些概率论与数理统计/马尔科夫决策链/詹森不等式/KL散度知识,我找了一个讲的最好的动画,公式推导的很牛逼;听一遍,整个人都通畅了;[动画] 扩散模型DDPM全解析_哔哩哔哩_bilibili;
猫先生Mr.Mao15 天前
机器人·论文解读·rt-x·具身智能·vla·open x-embodiment
具身智能之Open X-Embodiment详解:22种机器人数据如何训练出RT-X的跨本体迁移【从零走向AGI】旨在深入了解通用人工智能(AGI)的发展路径,从最基础的概念起,逐步构建完整的知识体系。 项目地址🔗:https://github.com/AI-mzq/From-Zero-to-AGI.git
朝朝辞暮i15 天前
人工智能·python·深度学习·transformer·vla
VLA 系统学习第 20 课——Diffusion Policy 为什么要先给动作加噪,再学习把噪声去掉?原论文:Diffusion Policy: Visuomotor Policy Learning via Action Diffusion;官方实现:real-stanford/diffusion_policy。论文提出将机器人动作策略建模为条件去噪扩散过程,并结合视觉条件与滚动时域控制。
朝朝辞暮i15 天前
人工智能·pytorch·深度学习·transformer·vla
第一部分:ACT 阶段总结——从 Behavior Cloning 到完整的 Transformer Action Policy经过第 1~19 课,我们已经从最简单的神经网络训练,逐步走到了第一个完整的机器人操作学习模型:ACT(Action Chunking with Transformers)。
朝朝辞暮i17 天前
人工智能·深度学习·神经网络·transformer·vla
VLA 系统学习第 17 课:正式进入 ACT——为什么需要 CVAE、潜变量 z 和 KL Loss?上一课我们已经从 Transformer 的内部结构,走到了一个能预测 Action Chunk 的 Encoder–Decoder Policy。
朝朝辞暮i19 天前
人工智能·python·深度学习·神经网络·vla
VLA 系统学习第 3 课:从一次机器人示范,到真正送进神经网络的 Batch因为训练数据里已经有“输入”和“正确答案”。对 BC 来说,一个最基本训练样本就是:\[ (o_t,a_t) \]
朝朝辞暮i20 天前
人工智能·python·神经网络·vla
VLA 系统学习第 4 课:一个 Batch 进入神经网络后,模型到底是怎么“学会”的?因为:Episode 是一次完整任务,而训练样本可以来自 Episode 内部的每个时间点。例如:\[ 100\text{ episodes} \]
朝朝辞暮i20 天前
人工智能·python·深度学习·神经网络·vla
VLA 系统学习第 7 课:loss.backward() 到底做了什么?——从计算图到反向传播先把上一课的问题收掉,然后直接进入第七课。今天的主线会非常明确:\[ \text{Forward} \rightarrow \text{Loss} \rightarrow \text{Chain Rule} \rightarrow \text{Backpropagation} \rightarrow \text{Gradient} \rightarrow \text{Parameter Update} \]
朝朝辞暮i20 天前
人工智能·python·深度学习·神经网络·vla
VLA 系统学习第 5 课:神经网络的参数到底是什么?——从 nn.Linear 真正理解 W、 b 和 Gradient先把上一课最后六个问题收掉,然后直接沿着“参数 \(\theta\) 到底是什么”进入第五课。最关键的区别是: