OK-Robot机器人实现零样本算法 可在非结构化环境下完成拾取与放置任务

纽约大学的机器人专家团队与Meta人工智能学院研发人员共同合作开发了一种新型机器人,该机器人具备在非结构化环境下的认知能力,可在陌生房间利用视觉语言模型(VLMs),进行物品的抓取与放置。在论文当中,该团队详细阐述了机器人的编程过程以及其在多个实际环境中的测试表现。

研究人员指出,视觉语言模型(VLMs)在过去几年中取得了很快的进步,在根据语言提示识别物体方面已经非常出色。此外团队成员也提到目前机器人夹具控制技术也在进步,机器人可以轻松的将物体拾起,即便是易碎或柔软材料,也不会将其弄坏。但基于VLMs与机器人结合的相关应用依旧处于待探索阶段。

该项研究当中,科学家们尝试运用Hello Robot公司所售的一款机器人来完成这一测试。该机器人具备轮子、杆子以及可伸缩手臂,手部设有夹具。研究团队为其配备了先前经过训练的视觉语言模型(VLMs),并将其命名为OK-Robot。

在实际落地测试方面,研究团队将OK-Robot分别带入10 个志愿者家中,用iPhone对室内场景进行扫描,使用LangSam和CLIP进行计算,并存储在语义内存中。之后给定一个必须选择的对象的语言查询,查询的语言表示与语义记忆相匹配。随后,导航和拾取基元将按顺序分步执行,移动到所需夹取的物品前进行拾取,之后在需要放置的位置,将物品放置。实际测试过程当中,OK-Robot顺利将架子上粉色的瓶子放置在垃圾桶当中。

OK-Robot共执行了多达170项抓取与放置测试,任务成功率为58%。然而这种成功率很大一部分受环境因素影响,比如物品太大,物品呈现半透明状态,以及物品太滑难以夹取等方面,研究团队重新整理空间之后,成功率提升至82%。

研究团队指出,OK-Robot所搭载的系统是零样本算法,这意味着OK-Robot没有在工作环境中接受过训练,因此所取得这样的成绩,证明搭载VLMs功能的机器人是可行的。

相关推荐
神仙别闹1 小时前
基于单片机的六足机器人控制系统设计
单片机·嵌入式硬件·机器人
qinyia1 小时前
Wisdom SSH 是一款创新性工具,通过集成 AI 助手,为服务器性能优化带来极大便利。
服务器·人工智能·ssh
昨日之日20063 小时前
Wan2.2-S2V - 音频驱动图像生成电影级质量的数字人视频 ComfyUI工作流 支持50系显卡 一键整合包下载
人工智能·音视频
SEO_juper6 小时前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号7 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha7 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能
算家云7 小时前
nano banana官方最强Prompt模板来了!六大场景模板详解
人工智能·谷歌·ai大模型·算家云·ai生图·租算力,到算家云·nano banana 提示词
暴躁的大熊7 小时前
AI助力决策:告别生活与工作中的纠结,明析抉择引领明智选择
人工智能
Gyoku Mint7 小时前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
梁小憨憨7 小时前
zotero扩容
人工智能·笔记