【论文+VLA】2601.蚂蚁灵波开源LingBot-VLA能拿透明玻璃杯( LingBot-Depth感知增强)

【论文】一种实用的VLA基础模型 ------
2601.A Pragmatic VLA Foundation Model

【项目主页】:https://technology.robbyant.com/lingbot-vla

增强深度感知

rgb就好看不出透明杯;原始深度图也缺失; 修复后的,更明显

LingBotVLA简介

大规模预训练数据 (Large-scale Pre-training Data);我们基于9种热门双臂机器人配置,利用约2万小时的真实世界数据,开发了LingBot-VLA

数据来源于不同结构 的双臂机器人和多种场景(操纵、抓取、复合任务等),使模型学习到跨任务、跨形态的通用行为策略

数据收集

预训练数据集基于从9种流行的双臂机器人型号中收集的大规模远程操作数据构建,如图2所示。我们将在下文讨论这些型号:

·AgiBot G1。该装置配备两个7自由度机械臂,以及三个RGB-D摄像头。机器人数据通过基于虚拟现实的遥操作在此装置上采集。

· AgileX。该装置配备三台摄像头和两支6自由度机械臂。在数据采集过程中,采用同构机械臂实现机器人控制。

·Galaxea R1Lite。该配置配备两个6自由度机械臂,以及一台立体相机和两台腕部摄像头。

·Galaxea R1Pro。该配置使用了两个7自由度机械臂、一个立体相机和两个腕部摄像头。

·Realman Rs-02。该配置采用三台摄像头,具备16维的构型与动作空间:两个7自由度机械臂和两个并联夹爪。

验证了:"多机器人形态上的预训练数据规模定律"

scaling law

相关推荐
一颗小树x2 天前
《VLA 系列》Dexbotic | 一站式 | 具身智能 | VLA 开发工具箱
具身智能·vla·一站式·dexbotic·vla 开发工具箱
人工智能培训9 天前
大模型架构演进:从Transformer到MoE
人工智能·深度学习·大模型·transformer·知识图谱·具身智能·人工智能 培训
藓类少女9 天前
【具身智能】机器人训练流程
机器人·具身智能
s1ckrain9 天前
【论文阅读】Towards Learning a Generalist Model for Embodied Navigation
论文阅读·多模态·具身智能
人工智能培训10 天前
如何防范大模型被用于制造深度伪造和虚假信息?
人工智能·ai大模型·多模态学习·具身智能·企业ai转型·ai数字化转型
网易伏羲10 天前
以数据驱动工程机械智能化,网易灵动入选杭州国家语料库首批高质量数据集榜单
人工智能·具身智能·网易伏羲·网易灵动
人工智能培训11 天前
具身智能体的长期任务规划与记忆机制
人工智能·深度学习·大模型·逻辑回归·具身智能·大模型应用工程师
AI猫站长12 天前
快讯|【学术突破】智源Emu3统一架构研究登《自然》正刊,详解多模态“接龙预测”如何打造AI通用大脑;灵心巧手京东春晚千手观音舞惊艳亮相,穿针引线获高度关注
人工智能·架构·机器人·具身智能·灵心巧手
人工智能培训13 天前
深度学习中的梯度消失与梯度爆炸
人工智能·深度学习·逻辑回归·深度强化学习·具身智能·大模型应用工程师·大模型工程师证书
人工智能培训13 天前
具身智能视觉、触觉、力觉、听觉等信息如何实时对齐与融合?
人工智能·深度学习·大模型·transformer·企业数字化转型·具身智能