主动视觉可能就是你所需要的:在双臂机器人操作中探索主动视觉

AV-ALOHA 系统使用用于 AV 的 VR 耳机实现直观的数据收集,并且 用于作的 VR 控制器或引线臂。这有助于捕捉全身和头部 远程作我们的真实和模拟系统的运动,记录来自 6 个的视频 不同的摄像头,并为我们的 AV 仿制学习策略提供训练数据。

加州大学戴维斯及加州大学伯克利最新开源的AV-ALOHA ,在现实环境仿真环境 中搭建了全新的双臂机器人训练平台,通过一条"主动视觉"机械臂,模拟人类感知行为主动移动摄像头以获取执行任务的最佳视角。AV-ALOHA公开了全部实机/仿真的VR同步操作支持、数据收集、测试任务及建模、模型训练等代码实现。

  • 项目主页:https://soltanilara.github.io/av-aloha/

  • 论文链接:https://arxiv.org/pdf/2409.17435

  • AV-ALOHA代码(GitHub):https://github.com/soltanilara/av-aloha

  • VR Unity代码(GitHub):https://github.com/soltanilara/av-aloha-unity

相关推荐
芷栀夏几秒前
从 CANN 开源项目看现代爬虫架构的演进:轻量、智能与统一
人工智能·爬虫·架构·开源·cann
梦帮科技10 分钟前
OpenClaw 桥接调用 Windows MCP:打造你的 AI 桌面自动化助手
人工智能·windows·自动化
永远都不秃头的程序员(互关)16 分钟前
CANN模型量化赋能AIGC:深度压缩,释放生成式AI的极致性能与资源潜力
人工智能·aigc
爱华晨宇20 分钟前
CANN Auto-Tune赋能AIGC:智能性能炼金术,解锁生成式AI极致效率
人工智能·aigc
聆风吟º23 分钟前
CANN算子开发:ops-nn神经网络算子库的技术解析与实战应用
人工智能·深度学习·神经网络·cann
偷吃的耗子27 分钟前
【CNN算法理解】:CNN平移不变性详解:数学原理与实例
人工智能·算法·cnn
勾股导航28 分钟前
OpenCV图像坐标系
人工智能·opencv·计算机视觉
神的泪水29 分钟前
CANN 生态实战:`msprof-performance-analyzer` 如何精准定位 AI 应用性能瓶颈
人工智能
芷栀夏30 分钟前
深度解析 CANN 异构计算架构:基于 ACL API 的算子调用实战
运维·人工智能·开源·cann
威迪斯特30 分钟前
项目解决方案:医药生产车间AI识别建设解决方案
人工智能·ai实时识别·视频实时识别·识别盒子·识别数据分析·项目解决方案