Any2Policy: Learning Visuomotor Policy with Any-Modality(类似AnyGPT)

发表时间:NeurIPS 2024

论文链接:https://readpaper.com/pdf-annotate/note?pdfId=2598959255168534016\&noteId=2598960522854466816

作者单位:Midea Group

Motivation :Current robotic learning methodologies often focus on single-modal task specification and observation, thereby limiting their ability to process rich multi-modal information.(从多模态的角度切入

Any2Policy 框架旨在处理多模态输入,分别在指令和观察级别单独或串联容纳它们。

我们设计了嵌入式对齐模块,旨在同步不同模态之间的特征,以及指令和观察,确保不同输入类型的无缝和有效的集成。

解决方法:为了解决这一限制,我们提出了一个名为 Any-to-Policy Embodied Agents 的端到端通用多模态系统。该系统使机器人能够使用各种模式处理任务,无论是在文本图像、音频图像、文本点云等组合中。

实现方式 :我们的创新方法包括训练一个通用模态网络,该网络适应各种输入,并与策略网络连接以进行有效控制。

In summary, our contributions are the follows:

• We introduce any-to-policy models that enable a unified embodied agent to process various combinations of modalities, effectively facilitating instruction and perception of the world.

• We present novel embodied alignment learning techniques designed to seamlessly align instructions and observations, enhancing both the effectiveness and efficiency of policy learning.

• We offer a multi-modal dataset tailored for robotics, encompassing 30 distinct tasks. This dataset covers a wide spectrum of modalities in both instruction and observation.

实验:我们组装了一个包含30个机器人任务的综合真实数据集。

a real-worldsetting using our own collected dataset。

**Simulation Evaluation:**Franka Kitchen [ 92] uses text-image and ManiSkill2.

结论 **:**该框架有效地处理并响应机器人任务的多模态数据。整个框架与其多模态数据集相结合,代表了体现 AI 领域的重大进步。

相关推荐
三掌柜66611 分钟前
2025三掌柜赠书活动第三十五期 AI辅助React Web应用开发实践:基于React 19和GitHub Copilot
前端·人工智能·react.js
机器之心27 分钟前
强强联手!深度求索、寒武纪同步发布DeepSeek-V3.2模型架构和基于vLLM的模型适配源代码
人工智能·openai
机器之心29 分钟前
Claude Sonnet 4.5来了!能连续编程30多小时、1.1万行代码
人工智能·openai
8K超高清30 分钟前
汇世界迎全运 广州国际社区运动嘉年华举行,BOSMA博冠现场展示并分享与科技全运的故事
运维·服务器·网络·数据库·人工智能·科技
2401_8414956435 分钟前
【机器学习】朴素贝叶斯法
人工智能·python·数学·算法·机器学习·概率论·朴素贝叶斯法
高-老师36 分钟前
基于PyTorch深度学习无人机遥感影像目标检测、地物分类及语义分割实践技术应用
pytorch·深度学习·无人机
凯子坚持 c37 分钟前
Transformer模型:深度解析自然语言处理的革命性架构
深度学习·自然语言处理·transformer
葡萄城技术团队41 分钟前
2025 年 AI+BI 趋势下,Wyn 商业智能软件如何重构企业决策效率?
人工智能·microsoft·重构
停停的茶42 分钟前
深度学习实践项目(分类问题)
人工智能·深度学习
时间醉酒1 小时前
逻辑回归(四):从原理到实战-训练,评估与应用指南
人工智能·python·算法·机器学习·逻辑回归