【论文+VLA】2601.蚂蚁灵波开源LingBot-VLA能拿透明玻璃杯( LingBot-Depth感知增强)

【论文】一种实用的VLA基础模型 ------
2601.A Pragmatic VLA Foundation Model

【项目主页】:https://technology.robbyant.com/lingbot-vla

增强深度感知

rgb就好看不出透明杯;原始深度图也缺失; 修复后的,更明显

LingBotVLA简介

大规模预训练数据 (Large-scale Pre-training Data);我们基于9种热门双臂机器人配置,利用约2万小时的真实世界数据,开发了LingBot-VLA

数据来源于不同结构 的双臂机器人和多种场景(操纵、抓取、复合任务等),使模型学习到跨任务、跨形态的通用行为策略

数据收集

预训练数据集基于从9种流行的双臂机器人型号中收集的大规模远程操作数据构建,如图2所示。我们将在下文讨论这些型号:

·AgiBot G1。该装置配备两个7自由度机械臂,以及三个RGB-D摄像头。机器人数据通过基于虚拟现实的遥操作在此装置上采集。

· AgileX。该装置配备三台摄像头和两支6自由度机械臂。在数据采集过程中,采用同构机械臂实现机器人控制。

·Galaxea R1Lite。该配置配备两个6自由度机械臂,以及一台立体相机和两台腕部摄像头。

·Galaxea R1Pro。该配置使用了两个7自由度机械臂、一个立体相机和两个腕部摄像头。

·Realman Rs-02。该配置采用三台摄像头,具备16维的构型与动作空间:两个7自由度机械臂和两个并联夹爪。

验证了:"多机器人形态上的预训练数据规模定律"

scaling law

相关推荐
五羟基己醛43 分钟前
【Robotics】半小时入门具身智能之复现一篇顶会论文--足式机器人的自适应能量步态控制
人工智能·机器人·robot·具身智能
路人甲3261 天前
SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control
人工智能·深度学习·计算机视觉·机器人·具身智能
The moon forgets1 天前
ABot-M0:基于动作流形学习的机器人操作VLA基础模型深度解析
人工智能·pytorch·python·学习·具身智能·vla·点云分割
无问芯穹1 天前
无问芯穹按下具身智能的“ImageNet时刻”加速键,为李飞飞顶级基准 BEHAVIOR 带来 25 倍极致系统优化
behavior·具身智能
_张一凡2 天前
【论文解读】Dexora_ Open-source VLA for High-DoF Bimanual Dexterity
具身智能
想你依然心痛4 天前
机器人感知系统:视觉、触觉、力觉如何融合
机器人·具身智能
The moon forgets4 天前
DreamVLA:世界知识驱动的视觉-语言-动作新范式
人工智能·pytorch·python·深度学习·具身智能·vla
想你依然心痛4 天前
具身智能全景图:从符号主义到世界模型
microsoft·机器人·具身智能
Agilex松灵机器人5 天前
什么是具身智能底盘?4 类主流 AI 机器人底盘选型|VLA/ROS2 项目硬件指南
人工智能·机器人·具身智能·vla·aloha·松灵科研案例
想你依然心痛5 天前
Diffusion Policy实战:让机械臂学会推方块——从论文复现到真机部署
人工智能·机器人·具身智能