【论文+VLA】2601.蚂蚁灵波开源LingBot-VLA能拿透明玻璃杯( LingBot-Depth感知增强)

【论文】一种实用的VLA基础模型 ------
2601.A Pragmatic VLA Foundation Model

【项目主页】:https://technology.robbyant.com/lingbot-vla

增强深度感知

rgb就好看不出透明杯;原始深度图也缺失; 修复后的,更明显

LingBotVLA简介

大规模预训练数据 (Large-scale Pre-training Data);我们基于9种热门双臂机器人配置,利用约2万小时的真实世界数据,开发了LingBot-VLA

数据来源于不同结构 的双臂机器人和多种场景(操纵、抓取、复合任务等),使模型学习到跨任务、跨形态的通用行为策略

数据收集

预训练数据集基于从9种流行的双臂机器人型号中收集的大规模远程操作数据构建,如图2所示。我们将在下文讨论这些型号:

·AgiBot G1。该装置配备两个7自由度机械臂,以及三个RGB-D摄像头。机器人数据通过基于虚拟现实的遥操作在此装置上采集。

· AgileX。该装置配备三台摄像头和两支6自由度机械臂。在数据采集过程中,采用同构机械臂实现机器人控制。

·Galaxea R1Lite。该配置配备两个6自由度机械臂,以及一台立体相机和两台腕部摄像头。

·Galaxea R1Pro。该配置使用了两个7自由度机械臂、一个立体相机和两个腕部摄像头。

·Realman Rs-02。该配置采用三台摄像头,具备16维的构型与动作空间:两个7自由度机械臂和两个并联夹爪。

验证了:"多机器人形态上的预训练数据规模定律"

scaling law

相关推荐
人工智能培训1 天前
具身智能的应用场景及实践案例
人工智能·机器学习·知识图谱·数字孪生·具身智能·企业ai培训
WWZZ20251 天前
具身智能入门Isaac Sim——机器人设置-初级设计轮式机器人3
机器人·大模型·具身智能·isaac
机器觉醒时代1 天前
导远科技 × 银河通用 —— 车规级 IMU 赋能具身智能机器人场景
人工智能·科技·机器人·具身智能
AI猫站长1 天前
快讯|阿里ABot-M0发布:基于动作流形学习的VLA基础模型,构建600万轨迹UniACT数据集
人工智能·具身智能·灵心巧手
机器觉醒时代2 天前
DreamZero:从语言理解到世界建模——具身智能的WAM新范式
人工智能·具身智能·人形机器人·世界模型
WWZZ20253 天前
具身智能入门Isaac Sim——机器人设置-初级设计轮式机器人1
机器人·大模型·机械臂·ros2·具身智能·isaac sim
想要成为计算机高手3 天前
研究 telegrip - SO100 Robot Arm Teleoperation System
arm开发·机器人·开源·具身智能·摇操·telegrip
传说故事3 天前
【论文阅读】DreamZero:World Action Models are Zero-shot Policies
论文阅读·人工智能·机器人·具身智能·wa
WWZZ20254 天前
具身智能入门Isaac Sim——机器人设置-初级设计轮式机器人2
人工智能·机器人·大模型·强化学习·具身智能·四足·人形
传说故事4 天前
【论文阅读】See Once, Then Act:基于单次视频演示任务学习的VLA模型
论文阅读·人工智能·具身智能·vla