⭐CVPR2025 RoboBrain:机器人操作的统一大脑模型[特殊字符]

📄论文题目:RoboBrain: A Unified Brain Model for Robotic Manipulation from Abstract to Concrete

✍️作者及机构:Yuheng Ji、Huajie Tan、Jiayu Shi 等(北京大学、北京人工智能研究院、中国科学院自动化研究所等机构)12

🧩面临问题:当前多模态大语言模型(MLLMs)在机器人长程操作任务中存在显著局限。一方面,缺乏将复杂操作指令分解为子任务的规划能力;另一方面,难以识别物体可操作区域(Affordance 感知)和预测完整操作轨迹,核心原因是缺乏专门针对机器人操作的大规模细粒度数据集345。

🎯创新点及其具体研究方法:

1️⃣ 提出 RoboBrain 统一模型:基于 LLaVA 架构,整合三大核心模块实现从抽象指令到具体动作的转化。包括用于任务规划的基础模型(采用 SigLIP 视觉编码器和 Qwen2.5-7B 语言模型)、A-LoRA 模块(输出物体可操作区域坐标)和 T-LoRA 模块(预测轨迹关键点的 2D 坐标序列)13141718。

2️⃣ 多阶段训练策略:分两阶段提升模型能力。Phase 1(通用 OV 训练)利用 LCS558K 等图像文本数据、单图及视频数据,培养通用多模态理解与指令遵循能力;Phase 2(机器人训练)融入 3M 机器人数据(含 ShareRobot 子集),通过 A-LoRA 和 T-LoRA 微调 Affordance 感知与轨迹预测能力,同时混合 Phase 1 优质数据避免灾难性遗忘15192021。

3️⃣ 构建 ShareRobot 高质量数据集:从 Open X-Embodiment 筛选 51,403 个实例,标注多维度信息。任务规划方面拆分为 107 种原子任务,生成 1,027,990 个 QA 对;Affordance 标注 6,522 张图像的可操作区域坐标;轨迹标注 6,870 张图像的机械臂运动关键点,且数据集具备细粒度、多维度、高质量等特点6789。

#论文精读 #机器人学 #多模态大语言模型 #计算机视觉 #深度学习 #机器人操作 #CVPR 顶会 #开源数据集


相关推荐
AI导航猿42 分钟前
做PPT、改图、带团队,这个协作工具干掉了我常用的4个软件|AI导航猿
人工智能
失散131 小时前
机器学习——04 逻辑回归
人工智能·机器学习·逻辑回归
荼蘼1 小时前
OpenCV 入门教程:开启计算机视觉之旅
人工智能·opencv·计算机视觉
左右_Sats1 小时前
SpringAI(RAG+MCP)使用-未完结
人工智能
Nep&Preception2 小时前
vasp计算弹性常数
开发语言·python
AI程序员2 小时前
上下文工程:把“一段话”升级成“一套解决方案”(工程师友好的通俗讲解)
人工智能
星马梦缘2 小时前
RNN梯度爆炸/消失的杀手锏——LSTM与GRU
人工智能·rnn·深度学习·gru·lstm·长短期记忆
算家计算2 小时前
GPT-5终于发布!网友评价分化,为什么AI升级越来越难让人惊艳?
人工智能·openai·资讯
费弗里2 小时前
Python全栈应用开发神器fac 0.4.0新版本升级指南&更新日志
python·dash
Ice__Cai2 小时前
Python 基础详解:数据类型(Data Types)—— 程序的“数据基石”
开发语言·后端·python·数据类型