Varjo XR-4系列手部跟踪集成应用

手部跟踪功能作为Varjo Base 4.10软件新发布的一个全新功能现在可支持Varjo XR-4系列全部头显。这一强大的新功能是免费提供的,可通过Varjo基本设置自动启用。

请注意:手部跟踪作为一种测试功能。虽然它已经实现了一些全新的可能性,但也有一些已知的限制,包括手势可靠性和延迟。用户的使用反馈将帮助Varjo在未来的更新中完善体验。

与OpenXR应用程序无缝集成

集成的手部跟踪功能适用于定焦和自动对焦的XR-4头显。用户现在可以通过OpenXR APIs在任何支持手部跟踪的应用中享受身临其境的交互。具体来说,Varjo现在可实现包括对XR _ EXT _ hand _跟踪和XR _ EXT _ hand _交互的OpenXR扩展。

  • XR _ EXT _ hand _跟踪支持完全连接26个手形标志,提供详细的骨骼跟踪。

  • XR _ EXT _ hand _交互支持四种直观的手势:瞄准、捏、抓、戳。为了获得最佳用户体验,建议使用利用此扩展的应用程序。

对于正在使用Ultraleap Leapotion Controller 2,或者更愿意继续使用它的用户来说,其仍然完全兼容。在自动的模式下,如果Ultraleap设备已连接,系统将优先考虑该设备。

基于摄像头的跟踪--不需要额外的硬件

这一新功能是通过利用XR-4的视频透视(VST)摄像机流实现的。这意味着不需要额外的硬件---您的手直接在头显的可视区域内被跟踪。

在90赫兹和75赫兹VST模式下都支持手部跟踪,但跟踪帧速率在最初的版本中略有降低。(对于使用XR-4 FE的用户,请注意75 Hz模式提供了更大一点的垂直视野。)

针对真实环境进行了优化

该系统针对典型的办公室照明条件(200-500勒克斯)进行了优化。为了实现最佳性能,请确保您的环境光线充足,让VST相机捕捉高质量的帧。

无论是使用Varjo自带的内向外跟踪(IoT)或者Steam VR跟踪,手部跟踪都独立于头显的位置跟踪方法进行工作。

由机器学习驱动

该功能的核心是一个在Varjo内部训练的机器学习模型。该系统使用以下组合来检测和解释3D中的真实人类手部:

  • 立体视觉通过头显的VST摄像头捕获

  • 深度数据通过内置飞行时间传感器测量

通过对来自广泛领域的个人数据进行模型训练,确保了头显可稳定识别不同年龄、肤色、大小和性别的手部。

该推断是在CPU上执行的,因此具有高性能处理器的计算机将提供更加稳定的手部跟踪。GPU不用于手部跟踪,使用时请区分用户应用程序的优先级。

相关推荐
道可云3 天前
道可云人工智能每日资讯|浦东启动人工智能创新应用竞赛
人工智能·百度·ar·xr·deepseek
cnbestec17 天前
Manus Metagloves pro高精度+无漂移+低延迟 ,重构VR/XR手部交互方式
xr·vr·虚拟现实·manus·xr手套·metagloves pro·manus meta
平行云18 天前
3分钟搭建LarkXR实时云渲染PaaS平台,实现各类3D/XR应用的一键推流
云原生·webrtc·xr·云渲染·虚幻引擎·实时云渲染·像素流送
weixin_4462608518 天前
苹果新专利!XR视频传输效率提升40%
音视频·xr
ARM2NCWU18 天前
云XR(AR/VR)算力底座关键特征与技术路径
ar·xr·vr
王维志20 天前
浅谈 Unity XR:从混战到统一,OpenXR 的演进与现实困境
unity·游戏引擎·xr
weixin_5316389421 天前
XR-RokidAR-ADB环境搭建
adb·xr
weixin_5316389421 天前
XR-RokidAR-UXR3.0-InteractableUnityEventWrapper 脚本解析
microsoft·xr
weixin_5316389422 天前
Rokid AR交互开发工具对比
unity·游戏引擎·xr
平行云23 天前
LarkXR 赋能AI x XR数字供应链:引领智能设计、数字孪生与零售新未来
人工智能·webrtc·xr·云渲染·虚幻引擎·云展厅