主动视觉可能就是你所需要的:在双臂机器人操作中探索主动视觉

AV-ALOHA 系统使用用于 AV 的 VR 耳机实现直观的数据收集,并且 用于作的 VR 控制器或引线臂。这有助于捕捉全身和头部 远程作我们的真实和模拟系统的运动,记录来自 6 个的视频 不同的摄像头,并为我们的 AV 仿制学习策略提供训练数据。

加州大学戴维斯及加州大学伯克利最新开源的AV-ALOHA ,在现实环境仿真环境 中搭建了全新的双臂机器人训练平台,通过一条"主动视觉"机械臂,模拟人类感知行为主动移动摄像头以获取执行任务的最佳视角。AV-ALOHA公开了全部实机/仿真的VR同步操作支持、数据收集、测试任务及建模、模型训练等代码实现。

  • 项目主页:https://soltanilara.github.io/av-aloha/

  • 论文链接:https://arxiv.org/pdf/2409.17435

  • AV-ALOHA代码(GitHub):https://github.com/soltanilara/av-aloha

  • VR Unity代码(GitHub):https://github.com/soltanilara/av-aloha-unity

相关推荐
geneculture40 分钟前
社会应用融智学的人力资源模式:潜能开发评估;认知基建资产
人工智能·课程设计·融智学的重要应用·三级潜能开发系统·人力资源升维·认知基建·认知银行
仙人掌_lz3 小时前
Qwen-3 微调实战:用 Python 和 Unsloth 打造专属 AI 模型
人工智能·python·ai·lora·llm·微调·qwen3
美林数据Tempodata4 小时前
大模型驱动数据分析革新:美林数据智能问数解决方案破局传统 BI 痛点
数据库·人工智能·数据分析·大模型·智能问数
硅谷秋水4 小时前
NORA:一个用于具身任务的小型开源通才视觉-语言-动作模型
人工智能·深度学习·机器学习·计算机视觉·语言模型·机器人
正儿八经的数字经4 小时前
人工智能100问☞第46问:AI是如何“学习”的?
人工智能·学习
飞哥数智坊4 小时前
别卷提示词了!像带新人一样“带”AI,产出效率翻倍
人工智能
扫地的小何尚5 小时前
全新NVIDIA Llama Nemotron Nano视觉语言模型在OCR基准测试中准确率夺冠
c++·人工智能·语言模型·机器人·ocr·llama·gpu
m0_575470885 小时前
n8n实战:自动化生成AI日报并发布
人工智能·ai·自动化·ai自动写作
时空无限5 小时前
使用 ollama 在 mac 本地部署一个 qwen3:8b 模型
人工智能·语言模型