XR 世界导览 NEWSLETTER #016

本期封面

本期封面是来自 Max 借助 Spline 所设计的 TVA Timedoor。没错，这种光效拟真还带有交互的 3D 模型场景对 Spline 来说已经不在话下了。

BigNews

Apple Vision Pro 的发布时间，确定了！

关键词：Apple Vision Pro

千呼万唤始出来，Apple 在这篇官方的公告中宣布，Apple Vision Pro 将会于 2024 年 2 月 2 日在美国正式发售，而对应的预购将会于 1 月 19 日周五，太平洋时间上午五点（对应的北京时间是 1 月 20 日星期六，下午 9 点）开启。

不只是发售日期，从官方的公告中（结合一些我们的独家消息），我们还可以获取到一些此前没有被披露的信息，包括：

Apple Vision Pro 的起售价为 $3,499 ，配备 16 GB 内存和 256GB 存储空间（会有配备更高容量的版本）
在生产力方面，Fantastical、Freeform、JigSpace、Microsoft 365 和 Slack 这些生产力 App 已经针对性做了适配（毕竟 Apple 的公告中不会随便提及一个 App 的）
在游戏方面，Blackbox、Game Room、What the Golf? 以及 Super Fruit Ninja 这几款游戏都针对空间计算场景进行了适配或全新设计开发（Apple 官方对这些游戏的称呼是 Spatial Games）
在娱乐方面，Apple TV+、Disney+、Max 这些服务提供商都提供了支持 HDR 的视频内容，同时在 Apple TV 中，Apple 已经准备好了 150 部 3D 影片（在 012 中我们也提及到，2023 年 11 月 Apple TV 上就有 19 部电影支持了 3D 格式）；此外，Apple 还披露了他们针对 180 度全景视频提供了新的格式------Apple Immersive Video，这是一种 180 度，清晰度达到 8K 的 3D 格式（在官网还展示了 Apple 拍摄这些 Immersive Video 的场景）

这里面还有一些小细节，根据公告中的这段 visionOS 中 App Store 一闪而过的视频，我们可以提前看到一些即将登上 Vision Pro App Store 首页的 visionOS 原生 App 信息。

例如，在首页最为明显的，就是 Disney+，你可以在歼星舰上观看星球大战，也可以从上帝视角观看 NBA，当然也许你还可以成为观察者奥图，亲身体验 What if...

另外一款在官网早期介绍中登陆了 App Store 首页的应用是 Sky Guide ------这个用于星空摄影和观察星座的 AR 软件，当然你现在就可以在 iOS 或者 iPadOS 上体验到它，而在 Vision Pro 上则会是一个全新的体验：

还有一些首发 visionOS 原生应用包括：曾经获得 Apple Design Award 的 Blackbox（Blackbox 根据 visionOS 平台特性进行了全新游戏设计！），曾作为 ARKit 特性展示的 JigSpace，微软办公软件（包括 Microsoft Word 和 Microsof Excel）以及一款全新登陆的 Apple Arcade 游戏 Game Rooms。

JigSpace 和另外一款没有出现在 App store 展示视频里的 PTC 应用都被 Apple 选作企业级应用设计开发的典范。

视频的最后展示的原生的 App 包括：Zoom 和全新上架的 Onshape 和 Super Fruit Ninja，当然也不能少了在 Vision Pro 公布的第一天就在 Keynote 上展示了的 djay 和 Complete HeartX。

其中 djay 更是在官方的 Developer News 报道中频繁出现，是一款值得期待的应用！

其中最新的一篇关于 djay 如何实现他们的愿景的报道发布于 2024 年 1 月 11 日。

同时，图中一闪而过但却容易被人忽略的 Keynote 也同样值得期待。此前一些媒体也报道了 visionOS 上 Keynote 将会呈现的样子，包括具有可以在空间环境中模拟演讲等全新功能。

根据我们总结的各路消息来源，目前 Apple Vision Pro 的包装清单内容有（处方镜片需额外加购）：

其中包装具体内容以及所有名词的中文翻译以最终 Apple 发布的为准

除此之外，为了迎接 Apple Vision Pro 这一跨时代的产品，Apple 官方也为其专门发布了一个广告片：Get Ready。在这部广告片中，Apple 截取了各种经典电影中不同人物戴上眼罩时的场景，就好像在告诉你，戴上 Apple Vision Pro，你也能成为 "Some One"。从用户的角度来说，这确实会让很多认为"戴上一个头罩太蠢"的人改变想法。

需要注意的是，17 年前，iPhone 刚刚发布的时候，Apple 也用类似的拍摄手法发布了一个广告片，在这个广告片中，截取了来自各种经典电影中，不同人物拿起电话说 "Hello" 的场景：

看来，Apple 已经在全方位将 Apple Vision Pro 和 iPhone 进行了类比。另外，如果你也是 Apple 生态的开发者的话，相信你也已经收到了来自 Apple 的一封电子邮件，电子邮件中向开发者们推送了最新的，关于如何将 App 提交到 visionOS 的应用商店的指南。同时，随着 Apple Vision Pro 的发售时间确定，Xcode 也正式在 15.2 版本中添加了对 visionOS 的支持（没错，现在你开始学习 visionOS 的障碍又少了一个了）。

最后需要提醒大家的一点是，如果你计划购买 Apple Vision Pro，请提前在配备 Face ID 功能的设备上下载好 Apple Store 应用，因为购买前需要扫描面部来确定头带的大小。并且根据之前 Mark Gurman的报道，我们合理猜测未来可能也需要利用到 iPhone 进行一些 Vision Pro 配件的配准。

Tips

如果你还没有体验过 visionOS App 的神奇之处，欢迎你借助 Let's xrOS 这个项目来在模拟器中体验各种 visionOS App。

Let's xrOS 是一个 visionOS 应用交流平台，它允许开发者将自己开发的 visionOS 应用分发给来自世界各地的尝鲜者们。请放心，整个分发机制和 Apple 的 TestFlight 一样，只需要 App 的二进制，并不需要任何源码。

Idea

Seasons------沉浸式体验天气

关键词：visionOS、Apple Vision Pro、WeatherKit

如果你在 Apple Vision Pro 发售后，非常幸运的抢到了一台，那么一定记得前往 visionOS 的 AppStore，体验一下这款叫做 Seasons 的应用。

这款应用可以说是 Apple 便利的开发者工具的最好体现，通过调用 Apple 的 WeatherKit，再结合 SwiftUI + Reality Composer Pro，Seasons 成功地将 WeatherKit 的 34 种天气通过沉浸式场景展现了出来，因此在 Seasons 中，我们可以看到：

飘散树叶的阴天：

淅淅沥沥的阴雨天：

当然还有纷纷扬扬的雪天：

值得注意的是，这款 App 是由来自深圳的中国开发者 Cosmo 和他的团队一起开发的，非常期望在空间计算的世界中看到更多来自中国开发者的好作品。

带着 Quest 做家务，让家务不再无聊！

关键词：Quest Hackathon Winner、MR、Quest

如果做家务就像是玩游戏一样，你会不会喜欢上做家务？

下面的这个产品概念来自于 Meta Quest Hackthon 上的四人小队的作品，通过使用 Meta 的 Presence Platform ，让玩家使用吸尘器进行打扫的场景摇身一变成为清除杂草的"新奇"体验。

当空间应用不仅仅局限于展示三维模型，而是更多的考虑如何与现实场景结合时，将会产生奇妙的化学反应。

Tool

UEVR------让你的 Steam 中的 Unreal 引擎游戏支持 VR 游玩

关键词：Steam、VR、UEVR、Unreal

UEVR 是由 praydog 发布的一款针对 Unreal 游戏的 Mod，通过安装 UEVR，你就可以将你 Steam 中那些基于 Unreal 引擎（需要是 Unreal 4.8-5.3）开发的游戏转换成 VR 游戏，并通过你的各种 VR 头戴来游玩。

由于是一个 Mod 而并非需要开发者接入的框架，UEVR 整体的使用方式非常简单，只需要：

在 PC 上打开 UEVR
启动需要注入的游戏
配置注入参数，包括目标游戏的进程、选择运行时框架（OpenVR/OpenXR）
开玩！

实际游戏的游玩效果会和游戏有关，例如 illWill 这款游戏，就可以以第一人称视角游玩，并且可以直接使用 VR 头显的手柄以非常拟真的方式来操作武器：

而在其他一些游戏中，只能以第三人称视角配合通常的游戏机手柄来游玩：

目前，UEVR 所支持的游戏列表还在不断扩充，如果你想通过 VR 体验你所喜欢游戏，你可以先查看一下官方的这个表格，看看你喜欢的游戏是否在其中。另外，你也可以通过 UEVR - Getting Started Basics 和 UEVR Mod: An Idiots Guide 这两个视频来了解更多 UEVR 的上手指南。

Rokid ------免费帮你将空间视频导出为 SBS 格式

关键词：Rokid、Spatial Video

在之前的 iOS 17.2 上新上的空间视频，要这样玩中，我们向大家推荐了 Halocline 和 Spatialify 来将空间视频转为 SBS 格式以便于在类似 PICO / Quest 这样的设备上观看。鉴于 Spatialify 这个 App 的用心程度，18 元的定价也算是一个良心价了，特别是考虑到最新的版本还支持了空间照片拍摄等多项功能！

不过，如果你只是想简单的导出一个 SBS 格式的视频，Rokid AR App 也可以成为你的不错选择。

在最近的 2.0.8 版本中，Rokid 在应用中更新了空间视频的导出功能，基本的操作逻辑和 Spatialify 类似。选中空间视频，进行导出，就可以了：

Genie------Luma.ai 的文本生成 3D 工具

关键词：AI、Luma.ai、Text to 3D

此前我们多次提及的的 Luma.ai 近期推出了他的 Text to 3D 工具------Genie。我们试用后发现：整体而言模型的生成速度是比较快的，大概半分钟就可以生成一个基本可用的模型。例如，这里我们输入了 "A cute cat"，大约半分钟后，一只（有点粗糙）的小猫就生成了。

值得一提的是，除了 Luma.ai 的 Genie 以外，另一家创业公司 tripo3d.ai 也推出了类似的快速 3D 模型生成工具，并提供了相应的 API 供大家玩耍。例如，有网友打造了一款在线 PK 小游戏，PK 成功的一方将会夺取失败一方的模型关键词，通过 GPT 整合 prompt 以后，利用 tripo3d.ai 重新生成（进化）为新的模型。例如，这里的小猫猫 PK 成功了小女孩，就进化为了耍酷的猫女郎。

对相关技术关注较多的朋友可能会发现，与 012 期给大家介绍过的 CSM.ai 相比，短短过去几个月就从分钟或者小时级的生成，进化到了数十秒生成 4 组的速度。

进一步的分析来看，早期方法使用 zero123 等相关技术，通过 2D 扩散模型结合 NeRF 重建来做生成的方法，主要受限于 NeRF 本身的重建速度；而 Luma.ai 和 tripo3d.ai 则是训练了一个基于 Transformer 的重建大模型（如 LRM 或者是上图展示的 TriplaneGaussian），通过 2D 图像直接推断出最终的 NeRF 或 3D Gaussians 的重建结果。

Video

Polyspatial Quick Start / Play to Device

关键词：Unity、visionOS、Polyspatial

如果你想快速了解如何使用 Unity 基于 Polyspatial 进行 visionOS 应用的开发，那么 Dilmer Valecillos 的这两个视频非常推荐你用他们来入门：

在第一个视频中，DV 主要介绍了如何在工程中引入 Polyspatial SDK，以及如何在 visionOS 进行调试。而在第二个视频中，DV 则主要讲解了如何使用 Play to Device，一种在 Unity Editor 保存就可以实时预览效果的调试手段。

Making a Cel / Toon Shader in Reality Composer Pro's Shader Graph

关键词：visionOS、RealityKit、Reality Composer Pro、Shader

在这个视频中，Mark Robinson 向我们解释了如何利用 Reality Composer Pro 构建一个 Cel/Toon Shader------最后出来的效果就是上图中的圆球、骷髅头和飞机的效果。

需要注意的是，由于这并不是针对完全入门者的介绍，因此观看本视频前，你需要首先对 Reality Composer Pro 的 Shader Graph 有一定的了解（或者是对 Unity 的 Shader Graph 有一定了解）。

SmallNews

CES 上，索尼推出新的 XR 头显

关键词：CES、Sony

在近日举行的 CES 上，西门子的 CEO Roland Busch 宣布其将会和索尼一起在 2024 年稍晚时推出一款 XR 头显，这款头显将会配备 4K OLED 屏幕与高通 XR2+ Gen 2 芯片。这款产品面向的是专业工程人员------也就是说其主要针对是那些能够使用 CAD 的专业人员，而不是希望在看电影、玩游戏的普通消费者。

这款产品采用了掀盖设计，以方便随时打开和关闭。