Hololens 2应用开发系列（2）------MRTK基础知识及配置文件配置
- 一、前言
- 二、MRTK基础知识
-
- [2.1 MRTK概述](#2.1 MRTK概述)
- [2.2 MRTK运行逻辑](#2.2 MRTK运行逻辑)
- [2.3 MRTK配置文件介绍](#2.3 MRTK配置文件介绍)
- [2.4 MRTK服务](#2.4 MRTK服务)
- 三、配置文件使用
-
- [3.1 总配置文件](#3.1 总配置文件)
- [3.2 相机配置](#3.2 相机配置)
- [3.3 其他配置](#3.3 其他配置)
- 参考文献
一、前言
在前面的文章中，我们已学习了使用MRTK在Unity中设置混合现实场景并进行程序模拟，其中，对于检查器中MRTK的各项配置大家可能还难以捉摸。虽然微软官方为我们提供了一些使用教程，但内容却缺乏对项目的针对性，使我们在了解过程中，难以确定某些设置是否是我们所需要的，这样设置是否正确。因此本文在介绍这些配置之前，先对MRTK的基础知识进行讲解，然后再对具体配置进行介绍。下面，让我们开始吧。
二、MRTK基础知识
2.1 MRTK概述
MRTK是一个由微软公司驱动的统一、跨平台、支持AR/MR/VR设备开发的框架。它支持如Hololens、HTC、Oculus等多种设备，并添加了多种对不同XR插件的支持，如OpenXR 、Windows XR 、ARCore XR 等，各个XR SDK对应着不同类型的设备和平台，在Unity编辑器的项目设置中，我们可以在选择指定平台后找到其对应的XR插件，如下图所示。
具体来说，MRTK本身提供了一系列预构建的组件和服务，包括输入系统、交互对象、空间感知、UI元素以及演示场景等，但它并不直接处理底层XR平台的具体实现细节，比如硬件驱动通信或操作系统级的接口调用，而XR SDK则是专门用来整合和管理特定XR功能的软件开发套件，它们通常提供更底层的API来访问和控制硬件的功能，例如眼动追踪、手势识别、空间定位等。不同的XR SDK针对不同的硬件平台进行优化，以确保应用程序能够充分利用各个平台的独特功能。针对HoloLens 2我们通常使用OpenXR来进行项目的编写和构建。如需针对其他平台配置MRTK，请参考微软官方文档。
MRTK利用Unity配置MR应用的所有功能特性，需要我们使用配置文件Profiles对这些功能进行管理，通过配置文件，我们不仅可以定制所有功能，还可以替换掉默认的功能执行方式来执行自己的逻辑。·
2.2 MRTK运行逻辑
区分于Unity对象管理和生命周期控制的核心逻辑以及程序设计的核心逻辑（通过继承MonoBehaviour类依靠对象的事件函数编写应用，或使用单例模式控制共享运行组件），为保障AR/MR应用对全局内容和全部生命周期的控制，MRTK把所有需要共享运行的组件改成了服务（Service ），构建了一个服务容器，对上提供服务，对下执行具体实现，大大提高了整体框架的灵活性和可扩展性。参考MRTK2体系结构概述，其体系架构如下图所示。
MRTK有多个核心服务，其互相配合或独立运行，全部共享相同的生命周期------启动、注册、更新和卸载，该生命周期与Unity的MonoBehaviour生命周期不同。MRTK对象（即之前提到的MixedRealityToolkit 对象）用于管理其服务的生命周期和运行，此对象可确保程序开始时，服务的启动和初始化按预定义的顺序进行。
在结构的最上层，MRTK采用事件驱动，通过MixedRealityToolkit对象内挂载的Unity对象函数，处理来自Unity分发的事件消息，实现Unity消息与MRTK服务之间的通信，确保数据从低层级通过事件处理函数向高层级之间的流通。
2.3 MRTK配置文件介绍
MRTK通过使用配置文件定义应用程序的功能和其适用的目标设备，因此，错误的配置文件可能会导致程序在指定设备上无法运行。MRTK有一个总体的配置文件，该配置文件是一个可编程对象，用于存储全局数据，同时其又包含了许多子配置文件的定义，形成了一个配置文件树，与此对应的，在配置面板（选中MixedRealityToolkit 对象后，Inspector检查器中会自动添加MixedRealityToolkit 的配置面板）上我们不难发现，每一个标签页面都有其相关的配置文件选择，如下图所示。
配置文件指导了MRTK的运行有哪些功能，这些功能大都以服务形式提供，因此，配置文件的正确使用很关键。在了解这些配置文件之前，请先行继续了解MRTK的服务基础知识。
2.4 MRTK服务
MRTK中的服务可分为三类：原生服务 、扩展服务 和数据提供者 。MRTK负责协调处理服务间的交互，确保服务得到所需的事件消息（Awake 、Initialize 、Update 、Destroy 等）。MRTK的服务通过服务容器 进行管理，服务容器的实现通过MixedRealityServiceRegistry 类，它是服务的所有者，原生服务 和扩展服务 都必须先在它上面注册才能使用。
原生服务 顾名思义，是MRTK官方的服务类型，它提供了混合现实的核心功能服务，包含相机（Camera） 、输入（Input） 、边界（Boundary） 、传送（Teleport） 、空间感知（Spatial Awareness） 、诊断（Diagnostics） 、场景（Scene System） 七个模块。如果用户希望定义自己的服务处理逻辑，可继承BaseService 或实现IMixedRealityService 接口，以正确地被MixedRealityServiceRegistry 服务容器管理。由开发人员创建的服务都称为扩展服务 ，MRTK在配置面板上提供了可视化的服务创建向导，后续将对其进行详细介绍。
数据提供者 向特定服务（输入、空间感知）提供支持，所有数据提供者都需要实现IMixedRealityDataProvider接口，同时必须在服务配置文件中配置才能在MRTK中使用。
三、配置文件使用
微软官方为我们提供了配置文件配置指南，每个项目都需要根据项目功能、目标设备等进行配置。下面是针对Hololens 2设备配置文件的详细介绍。
3.1 总配置文件
MRTK的总配文件在配置面板的最上端，提供了若干默认配置。参考微软文档配置文件，其中，DefalutLeapMotionConfigurationProfile 是用于配置手部追踪的特定配置文件，OpenXRConfigurationProfile 是与OpenXR兼容设备的一个配置文件，OpenXR是一个由Khronos Group维护的开放标准，旨在简化和统一跨增强现实（AR）和虚拟现实（VR）平台的应用开发过程。而以Obsolete 开头的，是已过时的配置文件，通常用于Unity 2019以前版本。
针对HoloLens设备，DefaultMixedRealityToolkitConfigurationProfile 是一个通用配置文件，它未针对任何特定用例进行优化，可同时适用于HoloLens第一代和第二代设备。如果想要使用更适合其他平台的更高性能/具体的设置，可选择DefaultHoloLens2ConfigurationProfile 或针对HoloLens1的DefaultHoloLens1ConfigurationProfile 。
DefaultHoloLens2ConfigurationProfile 配置文件与通用配置文件DefaultMixedRealityToolkitConfigurationProfile 之间的主要区别是启用了眼动追踪和视线输入模拟，而禁用了边界系统、传送系统等功能。
为了确保默认配置的有效性，MRTK锁定了默认配置文件的修改，因此我们需要通过Clone 按钮来新建和定制自己的配置文件。
默认情况下，配置文件均位于项目根目录的Assets\MixedRealityToolkit.Generated\CustomProfiles文件夹中，您可在该目录找到针对您项目生成的配置文件。
3.2 相机配置
相机配置文件定义了所使用的渲染相机参数，该配置文件由主配置文件管理，在配置前，首先要确保相机系统的开启，即Enable Camera System 被勾选。然后Camera System Type 选择默认即可，它是MRTK预定的基础的摄像机系统类型，MRTK提供的默认类实现是MixedRealityCameraSystem ，这块只有一种选项，暂时无需纠结，微软官方也尚未对其进行解释（如果您找到了相关说明感谢在文章下方分享并评论）。然后，根据需求选择所需的配置文件，Clone 即可。此时，配置面板出现如下相机设置内容。
Camera Settings Providers相机设置提供程序 负责处理与混合现实应用中的相机相关的设置和行为，它是为了处理不同混合现实平台和设备特定的相机设置需求而设计的，以增强不同的MR头戴式设备的不同的光学参数、渲染要求和立体视觉实现方式下的跨平台兼容性，并对镜头畸变、空间感知等进行优化。并非所有平台都需要相机设置提供程序。如果没有与运行应用程序的平台兼容的提供程序，Microsoft 混合现实工具包将应用基本默认值。同时，我们也可以针对自己的平台创建相机设置提供程序，详细可参考这篇文章。对于HoloLens 2应用开发，我们选择其默认的配置即可。
Display Setting 显示设置是相机运用时的一些配置设置，包含Opaque （不透明的，针对VR）和Transparent （透明的，针对MR）两组设置，对于HoloLens 2，我们只需设置Transparent 内容即可。其中包含近平面/远平面 （元素渲染的最近最远距离，以米 为单位，建议为0.1和50）、清除标志 （绘制过程中或帧刷新时内容，对于VR，此值设置为Skybox， 对于MR，设置为Color）、背景色 （如果清除标志未设置为 Skybox，则将显示背景色属性）和图形质量 。
关于更多相机系统的概述，请参考微软官方文档相机系统概述 --- MRTK2及其同级目录下的文件。
3.3 其他配置
除了前面提到的相机（Camera）配置，还包含输入（Input） 、边界（Boundary） 、传送（Teleport） 、空间感知（Spatial Awareness） 、诊断（Diagnostics） 、场景（Scene System） 等内容，而文章不宜过长，接下来的博客内容中，我将对其进行介绍。其中，**输入（Input）**尤为重要，MRTK所面对的输入错综复杂，除了前面提到的输入模拟外，还有实际的手势、语音、手柄、控制器等多种类型的输入设备，很多功能也建立在其之上，同时，我们也可以创建自己的输入。
在接下来的专栏中，我将用一篇文章详细全面地介绍输入配置的相关内容，感谢大家持续关注！！！
参考文献
[1] 汪祥春.HoloLens 2开发入门精要：基于Unity和MRTK[M]. 北京：清华大学出版社，2021.
[2] MRTK2-unity开发文档[EB/OL].https://learn.microsoft.com/zh-cn/windows/mixed-reality/mrtk-unity/mrtk2,2022.