主动视觉可能就是你所需要的:在双臂机器人操作中探索主动视觉

AV-ALOHA 系统使用用于 AV 的 VR 耳机实现直观的数据收集,并且 用于作的 VR 控制器或引线臂。这有助于捕捉全身和头部 远程作我们的真实和模拟系统的运动,记录来自 6 个的视频 不同的摄像头,并为我们的 AV 仿制学习策略提供训练数据。

加州大学戴维斯及加州大学伯克利最新开源的AV-ALOHA ,在现实环境仿真环境 中搭建了全新的双臂机器人训练平台,通过一条"主动视觉"机械臂,模拟人类感知行为主动移动摄像头以获取执行任务的最佳视角。AV-ALOHA公开了全部实机/仿真的VR同步操作支持、数据收集、测试任务及建模、模型训练等代码实现。

  • 项目主页:https://soltanilara.github.io/av-aloha/

  • 论文链接:https://arxiv.org/pdf/2409.17435

  • AV-ALOHA代码(GitHub):https://github.com/soltanilara/av-aloha

  • VR Unity代码(GitHub):https://github.com/soltanilara/av-aloha-unity

相关推荐
思码逸研发效能10 分钟前
代码度量分析入门:从0到1掌握核心指标
大数据·人工智能·研发效能·研发管理
云境筑桃源哇12 分钟前
亿迈跨境分销商城启航
大数据·人工智能
梯度下降中15 分钟前
Softmax与交叉熵手撕
人工智能·机器学习
咕噜企业分发小米19 分钟前
GPUStack × MaxKB:打造强大易用的开源企业级智能体平台(下)
人工智能
WitsMakeMen19 分钟前
RoPE 算法原理?算法为什么只和相对位置有关
人工智能·算法·llm
热点速递39 分钟前
理想汽车“寒冬”未退,业绩小幅回暖掩盖深层阵痛
人工智能·汽车·业界资讯
有Li42 分钟前
基于几何映射的二维自然图像到四维fMRI脑图像的迁移学习/文献速递-大模型与图像分割在医疗影像中应用
人工智能·深度学习·文献·医学生
学而要时习43 分钟前
拒绝 API 堆砌:当“AI 龙虾”打破传统软件工程的确定性边界
人工智能·软件工程
weixin_5051544644 分钟前
Bowell Studio:重塑工业互联网时代的装配制造与运维检修
运维·数据库·人工智能·制造·数字孪生·3d产品配置器·3d交互展示
八角Z1 小时前
AI短视频创作实战心得:从玩具到生产力工具亲测
人工智能·机器学习·服务发现·音视频