主动视觉可能就是你所需要的:在双臂机器人操作中探索主动视觉

AV-ALOHA 系统使用用于 AV 的 VR 耳机实现直观的数据收集,并且 用于作的 VR 控制器或引线臂。这有助于捕捉全身和头部 远程作我们的真实和模拟系统的运动,记录来自 6 个的视频 不同的摄像头,并为我们的 AV 仿制学习策略提供训练数据。

加州大学戴维斯及加州大学伯克利最新开源的AV-ALOHA ,在现实环境仿真环境 中搭建了全新的双臂机器人训练平台,通过一条"主动视觉"机械臂,模拟人类感知行为主动移动摄像头以获取执行任务的最佳视角。AV-ALOHA公开了全部实机/仿真的VR同步操作支持、数据收集、测试任务及建模、模型训练等代码实现。

  • 项目主页:https://soltanilara.github.io/av-aloha/

  • 论文链接:https://arxiv.org/pdf/2409.17435

  • AV-ALOHA代码(GitHub):https://github.com/soltanilara/av-aloha

  • VR Unity代码(GitHub):https://github.com/soltanilara/av-aloha-unity

相关推荐
XGeFei4 分钟前
【AI大模型原理与API使用】
人工智能
weixin_422329318 分钟前
Agent 评测的基本概念与经典方法
人工智能
云浪9 分钟前
给 AI Agent 加上语音交互:ASR + 流式 TTS 实战
前端·人工智能·后端
一次旅行11 分钟前
fzf+ripgrep+fd终端三合一实战:一套检索工具链,大幅提升大型项目开发效率
人工智能·python·github
m4Rk_11 分钟前
【论文阅读】Agent 记忆机制(27):MemRefine——用 LLM 事实判断将长期记忆压缩到固定预算
论文阅读·人工智能·学习
蓦然回首却已人去楼空18 分钟前
Build a Large Language Model (From Scratch) 附录 E 使用 LoRA 进行参数高效微调
人工智能·语言模型·自然语言处理
IT小盘22 分钟前
05-PDF-Word-Excel接入RAG知识库
人工智能
zzzll111125 分钟前
RAG(检索增强生成)技术详解:从原理到实践
java·人工智能
Python私教34 分钟前
Django 做一个 AI 销售助手:读取客户记录,自动生成跟进计划
人工智能·python·django
leikooo35 分钟前
ARTS 0802: 合并有序链表、AI 时代的技术断层与 TCP 200ms 延迟之谜
人工智能·tcp/ip·链表