近日,美国专利局公布了苹果公司的一项专利申请,该专利申请涉及基于手部特征验证用户身份的技术。苹果指出,可能是多个家庭成员都想使用 Apple Vision Pro,系统必须识别不同的手势以控制 visionOS。在另一个示例中,苹果描述了一个工作场所场景,其中多个人戴着头显协作处理项目,要么只能查看项目(例如草稿),要么有权根据 Vision Pro 在办公室或仅在单个项目上注册不同用户的手进行编辑。
苹果在其专利背景中指出,在 Apple Vision Pro 中,一个人的物理运动或其表现形式的子集会被追踪,作为回应,在 XR 环境中模拟的一个或多个虚拟对象的一个或多个特征以符合现实属性的方式进行调整。某些 XR 环境允许多个用户与虚拟对象交互或在 XR 环境中相互交互。
确认手势身份
苹果的发明涵盖了捕获周围环境的传感器数据,可用于提取手部特征。在一些实施例中,2D 图像帧可用于提取手部特征,其可用于手部追踪。根据一个或多个实施例,可以训练网络以读取传感器数据(例如 2D 图像帧),并生成手部特征,如边界框、手部关键点、手部中心和手部特性。网络可以被训练为基于单个 2D 图像帧为手部特征提供 3D 数据。例如,关键点、边界框和 / 或手部中心可以以空间 3D 坐标的形式提供。
苹果专利图 10 以框图形式显示了用于确认手势身份的示例性系统;图 1 示出了用于管理场景中活动用户身份的系统设置。
苹果专利图 2 显示了注册用户手部的技术流程图;图 5 显示了用于基于手部特征确定用户授权的系统设置;图 8 显示了从图像数据中提取手部特征的技术流程图。
在 WWDC23 中,苹果官宣,头显产品名为"Apple Vision Pro",运行全新的操作系统"visionOS",搭载 M2 以及全新 R1 芯片。
设计方面,Vision Pro 的观感酷似滑雪镜、潜水眼镜,其外框采用铝合金框架,包含传感器、摄像头、显示屏和用风扇冷却的计算组件。头带和耳机面罩为纯织物材质,可以弯曲以适应各种脸型和头型。镜片方面,苹果与蔡司合作定制,生产的处方镜片可以磁性地附着在显示屏上,便于近视人士使用头显。屏幕方面,配备两块 4K micro OLED 屏幕,总共有 2300 万颗像素,每只眼睛分到的像素比 4K 电视还多。
苹果为 Vision Pro 设计了独特的双芯片设计,主芯片是我们熟悉的 M2,负责视觉算法与图像信息处理,让 Vision Pro 拥有更流畅的体验。同时为了处理 12 个相机、5 个传感器以及 6 个麦克风的信息,苹果还带来了一颗全新的 R1 芯片,让图像可以在 12 毫秒内同步到 Vision Pro 的屏幕上,几乎做到了没有延迟,就像一切发生在你面前一般。
伦茨科技拥有自主研发无线射频和低功耗蓝牙BLE5.2芯片并具有全球知识产权,针对AIoT物联网领域和个人消费者,提供蓝牙主控全集成芯片的「软硬件共性」解决方案及核心器件,配套全方位APP软件平台定制开发。所设计的蓝牙芯片方案应用于智能穿戴设备、蓝牙室内导航、智能家居、医疗健康、运动建身、数据传输、远程控制、个人外设及AIoT物联网等场景。