MIT沉浸式实验室如何使用MANUS手套实现远程VR神经外科培训

MIT.nano沉浸式实验室是麻省理工学院的多学科空间,旨在可视化复杂数据和原型沉浸式技术以支持AR和VR研究、动作捕捉以及面向科学、工程和艺术领域用户的数字物理交互。

外科训练的挑战

现代神经外科技术要求极其精确,尤其是在小儿脑积水手术中。多年来,年轻的外科医生不得不长途跋涉精进技能向像波士顿儿童医院的本杰明·华尔医生这样的专家学习。这些手术技能需要非常高的精度,传统上这些技能只能通过面对面的指导来传承。

为了打破这个障碍,小儿神经外科医生吉赛尔·科埃略创立了EDUCSIM并与MIT.nano的沉浸式实验室一起共同创造了一个沃尔博士的虚拟现实形象,让居民可以远程向他学习,就好像他就站在学员身边一样。

根据华尔博士创作虚拟化身的挑战

  • 要求高保真动作捕捉能够以外科手术级别的精度记录操作人员灵巧的手指运动。

  • 需要高分辨率立体视频采集,以在手术过程中准确保存全身姿势和空间背景。

  • 捕捉面部表情和非语言暗示的必要性,这对教学清晰性和临床交流至关重要。

  • 集成多种虚拟现实/增强现实技术,确保完整、真实地再现外科医生的远程培训技术。

Manus解决方案

沃尔多次访问MIT.nano网站进行数字"捕捉",包括穿着动捕套装(MANUS Metagloves Pro手套和嵌入传感器的衣服)在婴儿模型上做手术。

外科手术级手指动作捕捉

MANUS手套提供高精度传感器数据,实时捕捉关节位置、旋转和角度。这使得数字模型能够保留沃尔手术技术的准确细节,从他如何稳定器械到他如何执行精细的手术任务,而不是将手部运动简化为宽泛的手势。由此产生的手指水平的数据成为一个精确的训练参考,学员可以观察和复制。

跨VR/AR环境的无缝集成

MANUS手套与VR环境兼容,可以支持手术模拟器和混合现实训练系统中的工作流程。通过同步位置跟踪、身体姿势和手部运动数据,MANUS使外科医生能够在沉浸式环境中实现完整的数字孪生。学员可以从多个角度观察技术,接受实时指导,体验沉浸式空间教学而不是静态演示。

"这些技术主要用于娱乐、VFX或CGI。但是我们现在把它应用于真正的医学实践和真正的外科手术技术学习中。"---麻省理工学院纳米沉浸实验室AR/VR技术专家泰尔丝·瑞克斯说到。

结果

沃尔和EDUCSIM的项目使3000多英里外的巴西学员能够观察世界级神经外科医生的数字化身并与之互动,在一比一大小的婴儿大脑模型上练习精细的手术。

"如果有一天我们可以拥有像Giselle这样的化身,在偏远的地方向人们展示如何做手术和回答问题,而不需要旅行的成本或时间,我认为这将是非常强大的,"沃尔说,目前他已经花费了数年时间在世界各地培训儿童神经外科医生。

展望未来,结合MANUS手套精确的手部动作捕捉和VR/AR环境可以支持更广泛的应用,如远程手术指导、遥操作机器人、工业技能转移和全球培训工作流等。

相关推荐
世冠科技2 天前
世冠科技GCEAgent重磅发布,开启复杂装备AI原生智能研发新范式
人工智能·科技·ai-native
飞猫的边缘AI6 天前
SoC和SoC FPGA的野心与市场渗透
人工智能·科技·soc芯片·边缘ai
say_fall6 天前
【Linux网络编程】UDP套接字编程:系统编程组件、基础回显服务、InetAddr与地址转换、翻译服务与线程池聊天室
linux·服务器·网络·udp·vr
云南新人和数采集团6 天前
云南靠谱软件开发公司选型指南:以昆明新腾科技为例
大数据·人工智能·科技
AI算力7 天前
私有云时代来临:AI NAS如何重塑你的数字生活?
人工智能·科技·ai·生活·nas·ai算力·ainas
观察世界10 天前
字节 Seed 发布 Seedream 5.5:同一张图可编辑 100 轮,严重文字损坏率降至 0.4%
科技·ai
观察世界13 天前
前沿模型论坛发布越狱评级框架:给网络安全类越狱分等级,决定先修哪个
科技
昂永科技|非标件自动报价系统13 天前
# 昂永(上海)科技非标件自动核价系统落地无锡先导,助力制造核价数字化
大数据·科技·制造
行者无疆_ty14 天前
王兴兴:宇树未来将重点攻克机器人大脑——从「四肢发达」到「头脑不简单」,具身智能的临界点到了吗?
科技·热点追踪
硅谷秋水14 天前
面向科学的科学AI智能体:任务、架构、评估与挑战综述
人工智能·科技·语言模型