Nature Electronics:卡内基梅隆大学开放用于多模态皮肤反馈的皮肤贴附式触觉接口

卡内基梅隆大学 Carmel Majidi 团队,在《Nature Electronics》上发布了一篇题为"A flexible skin-mounted haptic interface for multimodal cutaneous feedback"的论文。论文内容如下:

一、摘要触觉反馈系统是增强现实和虚拟现实应用中提升沉浸感的关键技术,尤其是在需要复杂手指动作的场景中。然而,现有技术通常受到刚性和笨重设备的限制,这可能会降低佩戴舒适性,同时提供的触觉感受也不够细腻。在本研究中,作者报告了一种轻便且灵活的指戴式触觉设备,能够提供可控且细致的皮肤反馈。该设备由四个蛇形形状记忆合金结构组成,成对相对排列,操控触觉激励器,创造出单独和集体的激励模式。总体而言,它能够实现11种独特的运动,提供多样的触觉感受。此外,由于该设备由柔软的三维打印灵活指套结构和弹性外壳构成,能够轻松贴合人类手指,从而增强佩戴性和用户舒适度。作者展示了该触觉接口可以应用于多种虚拟和现实世界活动中。

二、背景介绍 触觉界面通常通过手部或指尖的皮肤反馈为用户提供各种触觉感受,是增强现实(AR)和虚拟现实(VR)系统发展的核心技术。近年来,可穿戴触觉接口技术的发展将手指作为核心感知接收器,原因在于手指复杂的感觉和运动神经。这些触觉接口主要通过皮肤集成设备和可穿戴接口构建而成。特别是,为手和手指设计的触觉设备主要采用手套型格式,能够为多种交互体验提供可编程的感觉模式。手指能够在多个方向上检测到高度细微和精确的触觉压力,这种复杂的感知能力对于实现真实与虚拟世界之间的无缝融合至关重要。 产生皮肤拉伸的手指触觉接口能够增强方向感和力觉反馈,提供与现实世界互动高度相似的反馈,从而改善远程操作等应用中的抓取和操控。大多数指尖佩戴的触觉接口也提供压缩和振动的触觉反馈组合。尽管这适合于使用柔软和可穿戴材料展示皮肤反馈,但与其他系统相比,这些接口在驱动模式上受到限制,因此可体验的触觉感受范围也相对较窄。可穿戴触觉接口的进展依赖于扩展驱动的方向和模式,包括引入与摩擦、摩擦或界面滑动相对应的圆周运动和多方向剪切力。纳入这些模式可以扩展在虚拟现实和增强现实中可体验的感受和用户反馈指令的范围。最近,一种基于电磁技术的触觉设备被展示出能够提供三模态、五自由度(DOF)可拉伸界面,能够传递多种触觉感受,具有类似皮肤的柔软性和可拉伸性,使其非常适合于与皮肤的紧密接触和有效的触觉信息传递。然而,该设备容易受到外部磁场的干扰,限制了其在某些环境中的可靠性。此外,其设计的性质意味着并非所有自由度都可以独立激活;在使用有限数量的电磁线圈时,实现复杂运动(如对角线或旋转运动)的耦合自由度激活是具有挑战性的。为了实现复杂运动,该设备将需要一个更复杂且可能笨重的控制系统。 在本文中,作者报告了一种灵活、轻便且可贴合皮肤的无线触觉接口,该接口采用蛇形结构的形状记忆合金(SMA)执行器,能够提供皮肤对正常力、剪切力和圆形摩擦感的反馈(图1a)。该设备由四个SMA执行器组成,控制一个由紫外线(UV)固化环氧树脂制成的触觉探头在执行器中央连接点的运动。SMA的激活是通过直接电刺激和环境冷却实现的(在室温下大约需要3秒)。执行器以蛇形结构排列,并以两对对抗的方式配置,使得触觉探头能够在指尖的切线平面内进行横向和圆形运动,摩擦并压迫皮肤(图1b)。当触觉探头在指尖表面滑动时,能够提供复杂的皮肤摩擦反馈,将SMA的激活转化为细微的皮肤摩擦感受(图1c)。该系统能够在指尖的切线平面内提供四种横向、四种对角和两种旋转运动。此外,通过同时激活所有蛇形结构,它还能够对皮肤施加轻微的正常力。此外,触觉探头还充当热绝缘体和电绝缘体,防止SMA执行器与皮肤之间的直接接触。这确保了用户的安全并增强了舒适性,使得执行器与人类皮肤的互动既有效又安全。该设计使设备能够执行广泛的多方向运动,并能够使用紧凑、可穿戴且完全无线的支持电子设备供电。与其他指戴式触觉界面相比,该设备在横向、法向或圆形变形模式下提供更广泛的触觉感受。具体而言,它可以通过选择性控制形状记忆合金(SMA)驱动来实现11种不同模式的切向、对角、旋转和正交力的触觉感知(如图1d所示)。作者报告了使用作者的可穿戴触觉设备进行虚拟现实/增强现实应用的概念验证演示,并强调了实现虚拟物体触觉交互感知的能力。该设备的多模态触觉反馈能力可以增强用户在虚拟现实环境中对真实物体的感知,使其体验更为生动(如图1e所示)。此外,作者展示了响应多维触觉反馈进行物体检测和定位,展示了该设备在增强感知和引导人类在现实活动中行动方面的潜力(如图1f所示)。它还可以通过手指触觉反馈传达方向线索,帮助视障人士,从而使一系列以前无法进行的活动成为可能(如图1g所示)。图1 | 皮肤贴附型形状记忆合金触觉接口。a,灵活的皮肤贴附型形状记忆合金触觉接口,佩戴在用户的指尖上。b,SSSA的示意图。c,SSSA的触觉器结构与指尖皮肤接触,促进皮肤触觉反馈。d,SSSA在多方向环境中根据不同驱动模式实现的多样化运动。e,通过触觉接口在虚拟现实环境中体验到的真实物体感知。f,帮助用户在现实活动中将画作挂在墙上。g,触觉接口提供的方向信息用于物体检测和定位,特别有利于视觉障碍人士。

三、内容详解3.1 蛇形结构形状记忆合金执行器(SSSA)的表征图2 | SSSA的表征。a,采用紫外激光切割机制成的SMA驱动器上的蛇形结构及其原始状态和拉伸状态。b,具有四个蛇形结构的SMA驱动器的示意图。每个蛇形结构被轻柔地拉伸至所需距离并固定。加热时,蛇形结构在驱动力Fh的作用下收缩,该驱动力与弹性恢复力Fr相平衡,从而使SMA驱动器中部的驱动结构移动。c,具有不同设计参数的各种蛇形结构设计生成的驱动器运动所产生的测量力。d,驱动结构在不同输入电流下的运动距离比较。e,SMA驱动器激活期间产生的最大力,随着施加电流强度的变化而变化。f,0.8 A电流下,驱动时间依赖的温度变化,相对于镍钛合金奥氏体结束温度Af进行测量。g,(i)切向和(ii)对角运动在平面模式下的热图像捕获。对角运动是通过在定制驱动模式下对两个相邻蛇形结构进行0.1秒的驱动实现的。h,主方向(Fp)和对角方向(Fd)产生的最大力比较。

3.2 皮肤贴合式触觉界面的实现图3 | 皮肤安装的形状记忆合金(SMA)指尖触觉接口。a,触觉接口在指尖上的照片。b,触觉接口组成的细节,包括一个柔性指导装置和一个柔软的弹性外罩,以及中央的SMA执行器。c,展示触觉接口的可变形性:该指尖设备可以折叠、扭曲和按压。d,设备的形状适应特性使其能够舒适地贴合用户的手指,并且不会干扰灵巧的操作。e,在以0.323 Hz的激励频率进行连续激励周期时,记录的手指皮肤温度随时间的变化。f,人类感知准确性测试的设置,显示用户在垫子上放置触觉接口。g,感知研究中使用的十一种不同激励模式。h,触觉接口的感官反馈准确性,通过感知测试中识别的激励模式展示。

3.3 无线触觉接口用于虚拟现实交互图4 | 在虚拟现实中部署手指式触觉接口。a,用户佩戴虚拟现实头盔和可穿戴接口,在虚拟环境中与虚拟物体进行交互,模拟触觉互动。b,用户前臂上无线控制系统的详细视图,展示了触觉模块、控制电路和固定的魔术贴带。c,上方:用户触摸虚拟物体时触觉接口的施加功率输入(白线)。功率输入的激活对应于提供正交力,通过形状记忆合金(SMA)驱动器产生触觉反馈。下方:SMA驱动器的温度波动(红线)随时间的激活而变化。d,用户触摸虚拟物体的动作序列。手指触觉接口提供与虚拟接触相对应的反馈。e,触觉接口在静止状态下((i),(iii);手未接触虚拟物体)和激活状态下((ii),(iv);手接触虚拟物体)的红外热成像,提供正交反馈以模拟触觉。

3.4 可穿戴触觉界面的实际应用图5 | 用于现实世界应用的日常活动触觉接口。a,墙挂导航应用的概念设置,展示用户在触觉设备的指尖上获得方向反馈时调整画作的位置。插图强调了触觉接口的实际操作。b,触觉设备内蛇形结构的驱动模式及其推断出的相应激活方向。这种驱动设计旨在为用户提供不同的方向提示,以实现精确放置。c,展示用户悬挂画作的过程序列,在触觉接口的方向反馈和相机提供的视觉提示的指导下进行。插图显示了传递给触觉接口的方向信息(右下)以及与每一步同步捕获的触觉接口热成像(右上)。

3.5 增强感知技术用于视觉障碍人士图6 | 视觉障碍用户的物体检测应用。a,测试设置照片,展示用户识别并伸手触摸桌面上的物体。b,记录用户伸手触摸所需物体(橙色)时的驱动模式,向用户指尖的触觉接口传达不同的方向信息:(i) 休息,(ii) 左,(iii) 上,(iv) 下和(v) 结束。c,顺序图像展示盲fold用户在触觉接口的帮助下,如何通过跟随方向反馈来触摸目标物体。d,与c中同一时刻对应的图形用户界面场景,显示由YOLOv5模型驱动的目标物体(红框)和手部(粉色框)检测。e,捕获的红外图像显示由计算方向信息激活的触觉设备。

四、全文总结作者报道了一种可穿戴的触觉接口,该接口采用柔性形状记忆合金(SMA)驱动器制作,能够减少对笨重外部硬件的依赖,并通过结合正常力反馈与多方向剪切和圆形摩擦来增强触觉感知。四个SMA蛇形结构集成在一个灵活且轻便的3D打印外壳中,该外壳可以贴合于手指的皮肤上。该设备提供11种不同的时空模式,能够产生多方向的触觉感受。触觉接口同样轻便且灵活,具备符合形状的设计,增强了用户的舒适度,并扩展了其在虚拟现实(VR)/增强现实(AR)应用及日常生活中的适用性。作者通过在VR环境中进行应用演示,验证了该触觉设备的潜力,在用户与虚拟物体交互时提供逼真的触觉反馈,并在现实生活中成功展示了在现实环境中进行导航任务,如物体检测,这对于帮助视觉障碍人士尤为重要。