【论文+VLA】2601.蚂蚁灵波开源LingBot-VLA能拿透明玻璃杯( LingBot-Depth感知增强)

【论文】一种实用的VLA基础模型 ------
2601.A Pragmatic VLA Foundation Model

【项目主页】:https://technology.robbyant.com/lingbot-vla

增强深度感知

rgb就好看不出透明杯;原始深度图也缺失; 修复后的,更明显

LingBotVLA简介

大规模预训练数据 (Large-scale Pre-training Data);我们基于9种热门双臂机器人配置,利用约2万小时的真实世界数据,开发了LingBot-VLA

数据来源于不同结构 的双臂机器人和多种场景(操纵、抓取、复合任务等),使模型学习到跨任务、跨形态的通用行为策略

数据收集

预训练数据集基于从9种流行的双臂机器人型号中收集的大规模远程操作数据构建,如图2所示。我们将在下文讨论这些型号:

·AgiBot G1。该装置配备两个7自由度机械臂,以及三个RGB-D摄像头。机器人数据通过基于虚拟现实的遥操作在此装置上采集。

· AgileX。该装置配备三台摄像头和两支6自由度机械臂。在数据采集过程中,采用同构机械臂实现机器人控制。

·Galaxea R1Lite。该配置配备两个6自由度机械臂,以及一台立体相机和两台腕部摄像头。

·Galaxea R1Pro。该配置使用了两个7自由度机械臂、一个立体相机和两个腕部摄像头。

·Realman Rs-02。该配置采用三台摄像头,具备16维的构型与动作空间:两个7自由度机械臂和两个并联夹爪。

验证了:"多机器人形态上的预训练数据规模定律"

scaling law

相关推荐
SkyXZ2 天前
RDK-OE-LLM工具链量化SigLip全流程
深度学习·具身智能·rdk s100
feasibility.2 天前
DreamZero技术解析:当世界模型成为机器人“物理大脑”
论文阅读·人工智能·机器人·零样本·具身智能·vla·世界模型
AI资源库3 天前
打破 VLM 与飞控的“次元壁”:清华 AirHunt 架构拆解,大模型无人机是怎样炼成的?
具身智能·视觉语言模型vlm·无人机语义导航·连续运动规划·异步解耦架构·开放集目标搜寻·代价地图融合
BFT白芙堂3 天前
基于旋量理论的 Franka 机械臂逆运动学求解器 GeoFIK 研究
人工智能·机器学习·机器人·具身智能·frankaresearch3·旋量理论·机械臂逆运动学
Yao.Li4 天前
PVN3D 原生 / ONNX 混合 / TRT 混合推理速度测试
人工智能·3d·具身智能
铮铭4 天前
EgoScale: 基于多样化第一人称视角人类数据的灵巧操作规模化
人工智能·机器人·具身智能·vla
Yao.Li4 天前
PVN3D TensorRT Engine 转换与测试记录
3d·具身智能
笨小古4 天前
VLA学习笔记——持续更新中
学习·机器人·大模型·具身智能·vla
Yao.Li5 天前
PVN3D ONNX 转换与测试记录
人工智能·3d·具身智能
机器觉醒时代6 天前
RL Token:破解 VLA “最后一厘米”精度难题,在线强化学习实现机器人精准操控
人工智能·机器人·强化学习·具身智能·vla模型