【论文+VLA】2601.蚂蚁灵波开源LingBot-VLA能拿透明玻璃杯( LingBot-Depth感知增强)

【论文】一种实用的VLA基础模型 ------
2601.A Pragmatic VLA Foundation Model

【项目主页】:https://technology.robbyant.com/lingbot-vla

增强深度感知

rgb就好看不出透明杯;原始深度图也缺失; 修复后的,更明显

LingBotVLA简介

大规模预训练数据 (Large-scale Pre-training Data);我们基于9种热门双臂机器人配置,利用约2万小时的真实世界数据,开发了LingBot-VLA

数据来源于不同结构 的双臂机器人和多种场景(操纵、抓取、复合任务等),使模型学习到跨任务、跨形态的通用行为策略

数据收集

预训练数据集基于从9种流行的双臂机器人型号中收集的大规模远程操作数据构建,如图2所示。我们将在下文讨论这些型号:

·AgiBot G1。该装置配备两个7自由度机械臂,以及三个RGB-D摄像头。机器人数据通过基于虚拟现实的遥操作在此装置上采集。

· AgileX。该装置配备三台摄像头和两支6自由度机械臂。在数据采集过程中,采用同构机械臂实现机器人控制。

·Galaxea R1Lite。该配置配备两个6自由度机械臂,以及一台立体相机和两台腕部摄像头。

·Galaxea R1Pro。该配置使用了两个7自由度机械臂、一个立体相机和两个腕部摄像头。

·Realman Rs-02。该配置采用三台摄像头,具备16维的构型与动作空间:两个7自由度机械臂和两个并联夹爪。

验证了:"多机器人形态上的预训练数据规模定律"

scaling law

相关推荐
云智慧AIOps社区3 天前
智能巡检机器人应用场景解析:机房巡检、园区安防、管廊巡视与展厅导览
人工智能·机器人·具身智能·智能巡检机器人·企业级智能巡检机器人·机房巡检机器人·导览机器人
Rocky Ding*3 天前
深入浅出GroundingPI技术解析:精确空间感知如何迁移到机器人动作
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·具身智能
feasibility.3 天前
世界模型WSM技术解读:SLAM内化为具身智能的状态记忆,纯RGB机器人导航反超RGB-D
人工智能·机器人·aigc·slam·导航·具身智能·世界模型
loulanyue_3 天前
物理AI的五次跃迁与部署态终局:从Worken度量衡到灵渠OS开源——读智元机器人联合创始人兼CTO彭志辉(稚晖君)演讲
人工智能·具身智能·智元机器人·稚晖君
小lo想吃棒棒糖3 天前
把 启元机器人Q1 的训练搬到昇腾 910B:从 MuJoCo 到 PPO 的一次完整迁移
人工智能·python·机器人·昇腾·具身智能
趣味科技v4 天前
具身智能从“演示”走向“部署”:智元把机器人送进真实工位
机器人·具身智能·智元
zkk95275 天前
【机器人感知运控笔记一】从点云到避障:距离场的构建、查询与梯度
机器人·具身智能·sdf·esdf
数智奔流5 天前
OpenAI健康板块负责人:AI医疗健康的上限和下限
机器人·具身智能·禾赛
猫先生Mr.Mao5 天前
让动作先接受“未来检验”:ThinkWorld 如何用世界想象强化机器人推理
机器人·强化学习·具身智能·vla·世界模型·thinkworld
想要成为计算机高手5 天前
一种出人意料的机器人策略:GPT-6 Astra 在 RoboDojo 及其他场景中的早期评测
gpt·机器人·具身智能·astra·robodojo·roboprobe