空间计算时代能力矩阵

空间计算时代能力矩阵

整理于 2026-03-18,用于自我评估与学习规划


1. 开发平台与引擎

Unity

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Unity 基础 场景、组件、脚本生命周期 ⭐⭐⭐⭐⭐ Unity Learn 官方免费课程
Unity XR XR Interaction Toolkit、手部追踪 ⭐⭐⭐⭐⭐ XR 开发路径
Shader 编程 HLSL、表面着色器、后处理 ⭐⭐⭐⭐ Catlike Coding 教程
性能优化 Profiler、批处理、LOD ⭐⭐⭐⭐ Unity 官方 Optimizing Your Unity App

实际应用场景

  • 开发一个 VR 密室逃脱游戏 → 用到 XR Interaction、物理系统、烘焙光照
  • 开发一个 AR 家具摆放 App → 用到 AR Foundation、平面检测、锚点持久化

Unreal Engine

能力领域 核心技能 重要度 掌握程度 最佳学习路径
UE 基础 蓝图、材质、Niagara ⭐⭐⭐⭐ Unreal Online Learning
UE XR OpenXR、XR Pawn、运动控制 ⭐⭐⭐⭐ 官方 VR 模板 + 文档
Nanite/Lumen 虚拟几何、全局光照 ⭐⭐⭐⭐ Epic 官方演示项目

实际应用场景

  • 开发一个高保真建筑可视化 Demo → 用到 Nanite、Lumen、后处理体积
  • 开发一个 VR 训练模拟器 → 用到物理约束、动画蓝图、XR 输入

原生 XR 开发

能力领域 核心技能 重要度 掌握程度 最佳学习路径
OpenXR xrGetInstanceProcAddr、SwapChain ⭐⭐⭐⭐ Khronos OpenXR 教程
Android XR Jetpack XR、ARCore Extended ⭐⭐⭐⭐ Android XR 开发者指南
visionOS ARKit、RealityKit、空间锚点 ⭐⭐⭐⭐ Apple 开发者文档

实际应用场景

  • 为企业开发定制的 AR 工业巡检 App → 用到 ARCore、图像识别、远程协作
  • 开发 Vision Pro 的空间窗口管理器 → 用到 ARKit 锚点、HandTracking、SceneReconstruction

2. 3D 建模与重建

传统 3D 建模

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Blender 基础 建模、UV、材质、渲染 ⭐⭐⭐⭐ Blender Guru甜甜圈教程
低模拓扑 四边形建模、法线烘焙 ⭐⭐⭐⭐ FlippedNormals 拓扑教程
PBR 材质 粗糙度/金属度/法线/高度 ⭐⭐⭐⭐ Substance 3D 官方教程

实际应用场景

  • 为 VR 游戏制作低模道具 → Blender 建模 → 烘焙法线 → 导出 glTF
  • 为 AR 产品展示制作高质量模型 → PBR 材质 → Substance Painter 绘制

摄影测量

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Meshroom 照片采集、网格生成、纹理 ⭐⭐⭐⭐ Meshroom 官方 Wiki
RealityCapture 高精度扫描、对齐、纹理 ⭐⭐⭐⭐ Epic 学习课程

实际应用场景

  • 扫描博物馆文物,创建 3D 数字展厅 → 拍摄 200+ 张照片 → Meshroom 重建 → 清理模型
  • 房地产 VR 看房 → 扫描真实房间 → 优化模型 → 部署到 Quest

3D 高斯泼溅

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Gaussian Splatting 训练、渲染、压缩 ⭐⭐⭐⭐⭐ 原论文+代码
实时查看器 SIBR_viewer、WebGL 渲染 ⭐⭐⭐⭐ gsplat.js
压缩优化 剪枝、量化、LOD ⭐⭐⭐⭐ 3DGS 压缩论文

实际应用场景

  • 用手机拍摄街景 → 训练 3DGS → 部署到网页端实时漫游
  • VR/AR 场景重建 → 比传统网格更快、更逼真 → 适合实时渲染

生成式 3D

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Tripo AI 文本/图像转3D、API调用 ⭐⭐⭐⭐⭐ Tripo API 文档
Luma AI 视频转3D、NeRF ⭐⭐⭐⭐ Luma AI 官网
Kaapia 扫描转CAD ⭐⭐⭐⭐ Kaapia 官网

实际应用场景

  • 用户上传一张产品图 → Tripo 生成 3D 模型 → 放入 AR 场景展示
  • 拍摄一段产品视频 → Luma 生成 3D → 用于电商展示

3. 计算机视觉与感知

基础 CV

能力领域 核心技能 重要度 掌握程度 最佳学习路径
OpenCV 基础 图像处理、特征点、轮廓 ⭐⭐⭐⭐⭐ OpenCV 官方教程
相机标定 内参、外参、畸变校正 ⭐⭐⭐⭐ LearnOpenCV 教程

实际应用场景

  • AR 相机标定 → 校正镜头畸变 → 虚拟物体精准叠加
  • 工业质检 → 检测产品缺陷 → 自动分类

目标检测

能力领域 核心技能 重要度 掌握程度 最佳学习路径
YOLO 训练、推理、自定义数据集 ⭐⭐⭐⭐ Ultralytics YOLOv8 文档
实时推理 TensorRT 优化、ONNX 导出 ⭐⭐⭐⭐ YOLO TensorRT 教程

实际应用场景

  • AR 试穿 → 检测人体关键点 → 叠加虚拟服装
  • 工业巡检 → 检测设备异常 → 自动报警

SLAM

能力领域 核心技能 重要度 掌握程度 最佳学习路径
ORB-SLAM 特征提取、位姿估计、地图构建 ⭐⭐⭐⭐⭐ ORB-SLAM3 GitHub
VIO IMU 融合、视觉惯性里程计 ⭐⭐⭐⭐⭐ VINS-Mono
AR SDK ARKit、ARCore 平面检测 ⭐⭐⭐⭐⭐ ARCore 官方文档

实际应用场景

  • AR 导航 → SLAM 建立地图 → 在真实环境中叠加导航箭头
  • VR 定位 → Inside-out 追踪 → 无需外部基站

手势识别

能力领域 核心技能 重要度 掌握程度 最佳学习路径
MediaPipe 手部关键点、手势识别 ⭐⭐⭐⭐ MediaPipe 官方文档
自定义手势 数据集、训练、部署 ⭐⭐⭐⭐ MediaPipe Hands 教程

实际应用场景

  • VR 手势交互 → 检测捏合/张开 → 触发 UI 事件
  • 手语翻译 → 识别手势序列 → 转换为文字

人体姿态

能力领域 核心技能 重要度 掌握程度 最佳学习路径
姿态估计 OpenPose、MoveNet、关键点 ⭐⭐⭐⭐ MediaPipe Pose
动作捕捉 IK/FK、Avatar 驱动 ⭐⭐⭐⭐ Final IK (Unity 插件)

实际应用场景

  • VR 社交 Avatar → 捕捉真人动作 → 实时驱动虚拟形象
  • 运动分析 → 检测姿态 → 纠正运动姿势

4. 标准与互操作

OpenUSD

能力领域 核心技能 重要度 掌握程度 最佳学习路径
USD 基础 .usd/.usda 文件、Stage、Prim ⭐⭐⭐⭐⭐ OpenUSD 官方教程
USD in Unity Unity USD 插件、导入导出 ⭐⭐⭐⭐ Unity USD 包文档
USD in UE USD Stage、Live Link ⭐⭐⭐⭐ UE USD 文档

实际应用场景

  • 团队协作 → 美术用 Maya 建模 → 导出 USD → 程序在 Unity/UE 中引用
  • 电影/游戏流水线 → USD 作为中间格式 → 跨工具无损传递

glTF/glb

能力领域 核心技能 重要度 掌握程度 最佳学习路径
glTF 格式 JSON 结构、PBR 材质、动画 ⭐⭐⭐⭐⭐ glTF 官方教程
Draco 压缩 几何压缩、解码 ⭐⭐⭐⭐ Draco GitHub
运行时加载 Three.js/GLTFLoader、模型优化 ⭐⭐⭐⭐⭐ Three.js glTF 教程

实际应用场景

  • Web 3D 展示 → 导出 glTF → 网页加载 → 实时渲染
  • AR 模型分发 → glb 格式 → 小体积、快速加载

OpenXR

能力领域 核心技能 重要度 掌握程度 最佳学习路径
OpenXR 概念 Instance、Session、Action ⭐⭐⭐⭐⭐ OpenXR 规范
OpenXR 开发 手柄输入、定位空间、扩展 ⭐⭐⭐⭐⭐ OpenXR 示例代码

实际应用场景

  • 开发跨平台 XR 应用 → 一套代码 → Quest/PICO/Vive 都能跑
  • 自定义手柄映射 → OpenXR Action → 兼容多种控制器

5. Web 与跨平台前端

Three.js

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Three.js 基础 场景、相机、渲染器、几何体 ⭐⭐⭐⭐⭐ Three.js 官方教程
材质与光照 PBR 材质、阴影、后处理 ⭐⭐⭐⭐⭐ Three.js Journey (付费推荐)
WebXR VR/AR 模式、控制器、锚点 ⭐⭐⭐⭐⭐ Three.js WebXR 示例
Shader 自定义材质、后处理特效 ⭐⭐⭐⭐ The Book of Shaders

实际应用场景

  • 产品 3D 展示页 → 加载 glTF → 360° 旋转 → 用户交互
  • WebXR 体验 → 点击按钮 → 进入 VR 模式 → 手柄交互

Babylon.js

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Babylon.js 基础 场景、相机、物理引擎 ⭐⭐⭐⭐ Babylon.js 官方教程
WebXR VR/AR、锚点持久化 ⭐⭐⭐⭐ Babylon.js WebXR 指南

实际应用场景

  • 在线 3D 编辑器 → 实时编辑场景 → 导出 USD/glTF
  • WebXR 游戏 → 物理引擎 → 真实碰撞反馈

WebGPU

能力领域 核心技能 重要度 掌握程度 最佳学习路径
WebGPU 基础 Device、Pipeline、Shader ⭐⭐⭐⭐⭐ WebGPU 官方规范
计算着色器 GPGPU、粒子系统、CV 加速 ⭐⭐⭐⭐⭐ WebGPU Samples

实际应用场景

  • 网页端 3DGS 渲染 → WebGPU 计算着色器 → 高性能实时渲染
  • 网页端 AI 推理 → WebGPU 加速 → 无需后端服务器

6. AI/生成式能力

扩散模型

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Stable Diffusion 文生图、ControlNet、Inpainting ⭐⭐⭐⭐ HuggingFace Diffusers 教程
LoRA 微调 自定义风格、角色 ⭐⭐⭐⭐ LoRA 训练教程

实际应用场景

  • 游戏材质生成 → 输入文本 → 生成贴图 → 应用于 3D 模型
  • AR 滤镜 → 实时风格迁移 → 用户体验增强

3D 生成

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Tripo API 文本/图像转3D、模型格式 ⭐⭐⭐⭐⭐ Tripo API 文档
Meshy 文本转3D、纹理生成 ⭐⭐⭐⭐ Meshy 官网

实际应用场景

  • 用户输入 "一把木质椅子" → Tripo 生成模型 → 导入 AR 场景
  • 游戏资产生成 → 快速原型 → 人工精修

实时 AI 推理

能力领域 核心技能 重要度 掌握程度 最佳学习路径
ONNX 模型导出、跨框架部署 ⭐⭐⭐⭐ ONNX 官方教程
TensorRT NVIDIA GPU 优化、INT8 量化 ⭐⭐⭐⭐ TensorRT 开发者指南
ONNX Runtime CPU/GPU 推理、移动端部署 ⭐⭐⭐⭐ ONNX Runtime 文档

实际应用场景

  • 移动端 AR → 部署 YOLO 模型 → 实时目标检测
  • VR 设备 → 本地语音识别 → 隐私保护、低延迟

7. 硬件平台适配

Meta Quest

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Quest 开发 Meta XR SDK、Passthrough ⭐⭐⭐⭐⭐ Meta 开发者文档
手部追踪 Hand Tracking API、手势识别 ⭐⭐⭐⭐⭐ Meta Hand Tracking 指南
空间映射 Scene Mesh、空间锚点 ⭐⭐⭐⭐⭐ Scene Model 指南

实际应用场景

  • MR 游戏 → Passthrough 显示真实环境 → 虚拟物体与真实物体交互
  • 企业培训 → 手势操作培训流程 → 无需手柄

Apple Vision Pro

能力领域 核心技能 重要度 掌握程度 最佳学习路径
visionOS 开发 SwiftUI、RealityKit、ARKit ⭐⭐⭐⭐ Apple visionOS 教程
空间计算 空间锚点、HandTracking、SceneReconstruction ⭐⭐⭐⭐⭐ ARKit 文档

实际应用场景

  • 空间窗口应用 → 多窗口布局 → 手势交互
  • 企业协作 → 共享空间锚点 → 远程协作

PICO

能力领域 核心技能 重要度 掌握程度 最佳学习路径
PICO SDK XR Interaction、Passthrough ⭐⭐⭐⭐ PICO 开发者文档
企业功能 Kiosk 模式、MDM、批量部署 ⭐⭐⭐⭐ PICO 企业文档

实际应用场景

  • 企业展厅 → Kiosk 模式 → 自动启动应用
  • 培训中心 → 批量部署 → 远程管理设备

8. 美术与设计能力

核心洞察:技术决定"能不能做",美术决定"值不值得看"。AI 会打平技能门槛,审美判断将成为核心能力。

审美培养

能力领域 核心技能 重要度 掌握程度 最佳学习路径
审美直觉 看出好坏、识别风格、建立品味 ⭐⭐⭐⭐⭐ ArtStation/Pinterest 每日浏览
参考库建设 分类整理、快速检索、灵感来源 ⭐⭐⭐⭐ Pinterest 画板、Eagle 素材管理
风格分析 拆解优秀作品的构成要素 ⭐⭐⭐⭐⭐ ArtStation 案例研究

实际应用场景

  • 评估 AI 生成的 3D 模型质量 → 审美判断决定取舍
  • 指导团队美术方向 → 品味决定产品气质

视觉设计基础

能力领域 核心技能 重要度 掌握程度 最佳学习路径
构图 三分法、黄金分割、视觉焦点 ⭐⭐⭐⭐⭐ 《视觉艺术构图原理》
色彩理论 色彩心理、对比调和、情绪表达 ⭐⭐⭐⭐⭐ 《色彩与光线》James Gurney
光影设计 三点光源、环境光、阴影情绪 ⭐⭐⭐⭐⭐ 《电影布光艺术》
空间透视 透视原理、景深层次、视觉引导 ⭐⭐⭐⭐ 《透视画法入门》

实际应用场景

  • VR 场景灯光 → 引导玩家视线、营造氛围
  • AR 界面设计 → 色彩对比确保可读性

空间美术

能力领域 核心技能 重要度 掌握程度 最佳学习路径
场景美术 空间构图、层次感、叙事性 ⭐⭐⭐⭐⭐ FlippedNormals 场景教程
材质美术 PBR 材质、纹理绘制、真实感 ⭐⭐⭐⭐⭐ Substance 3D 教程
灯光美术 气氛营造、光影叙事、GI ⭐⭐⭐⭐⭐ UE/Unity 灯光官方教程
特效美术 粒子设计、流体动画、视觉冲击 ⭐⭐⭐⭐ Unity VFX Graph / UE Niagara

实际应用场景

  • VR 游戏 → 场景美术决定沉浸感
  • MR 体验 → 灯光融合真实与虚拟

技术美术

能力领域 核心技能 重要度 掌握程度 最佳学习路径
Shader 编程 自定义材质、视觉特效 ⭐⭐⭐⭐⭐ The Book of Shaders
渲染管线 URP/HDRP、自定义管线 ⭐⭐⭐⭐ Unity/UE 渲染文档
性能调优 DrawCall、内存、帧率 ⭐⭐⭐⭐⭐ Unity Profiler 深入指南

实际应用场景

  • 自定义风格化渲染 → 卡通、水彩、像素风
  • 移动端优化 → 保持美术效果同时降开销

空间设计

能力领域 核心技能 重要度 掌握程度 最佳学习路径
空间信息架构 3D 界面布局、信息层次 ⭐⭐⭐⭐⭐ 《设计虚拟世界》
空间叙事 动线设计、故事引导、情绪节奏 ⭐⭐⭐⭐⭐ 游戏关卡设计理论
空间音频设计 声音定位、环境音效、沉浸感 ⭐⭐⭐⭐ Wwise/FMOD 教程
人因工程 眩晕预防、舒适度、可访问性 ⭐⭐⭐⭐⭐ Oculus VR 舒适指南

实际应用场景

  • VR 展览设计 → 参观动线、信息层级
  • MR 办公空间 → 窗口布局、交互距离

推荐资源

审美培养

系统学习

  • 《色彩与光线》James Gurney
  • 《视觉艺术构图原理》
  • The Gnomon Workshop(付费,专业级)

日常练习

  • 每日 ArtStation 浏览 20 分钟
  • 建立分类参考库(场景/角色/材质/UI)
  • 临摹分析优秀作品的光影和构图

10. 交互设计

空间交互是全新范式:手势、视线、空间定位、语音、多模态融合。不是"把 2D 按钮放到 3D 空间里"。

空间交互基础

能力领域 核心技能 重要度 掌握程度 最佳学习路径
手势交互 捏合、抓取、滑动、自定义手势 ⭐⭐⭐⭐⭐ Meta Hand Tracking 指南
视线交互 眼动追踪、凝视选择、注视反馈 ⭐⭐⭐⭐⭐ Apple Vision Pro 人机界面指南
空间定位 世界锁定、锚点、跟随头部 ⭐⭐⭐⭐⭐ ARKit/ARCore 锚点文档
语音交互 语音命令、自然语言、多语言 ⭐⭐⭐⭐ Siri/语音 SDK 集成
多模态融合 手势+语音+视线协同 ⭐⭐⭐⭐⭐ 学术论文 + 实践案例

实际应用场景

  • VR 界面 → 手柄射线 + 手势捏合 + 语音命令
  • AR 眼镜 → 眼动选择 + 手势确认 + 空间定位

交互模式设计

能力领域 核心技能 重要度 掌握程度 最佳学习路径
近场交互 触手可及、直接操作、物理反馈 ⭐⭐⭐⭐⭐ VR 交互设计案例
远场交互 射线、抛物线、凝视+捏合 ⭐⭐⭐⭐⭐ Meta/Apple 设计指南
空间 UI 布局 窗口、面板、跟随、固定 ⭐⭐⭐⭐⭐ visionOS HIG
物理交互 碰撞、抓取、投掷、力反馈 ⭐⭐⭐⭐ Unity XR Interaction

实际应用场景

  • MR 办公 → 多窗口布局 + 空间定位 + 手势拖拽
  • VR 游戏 → 物理抓取 + 投掷 + 触觉反馈

推荐资源


11. 用户体验设计

VR 有眩晕、AR 有遮挡、MR 有虚实融合问题。舒适度、可访问性、防晕都是硬指标。

空间 UX 基础

能力领域 核心技能 重要度 掌握程度 最佳学习路径
眩晕预防 运动方式、帧率、视野、舒适区 ⭐⭐⭐⭐⭐ Oculus VR 舒适指南
可访问性 视觉障碍、运动障碍、认知障碍 ⭐⭐⭐⭐⭐ XR Accessibility
舒适度设计 颈部负荷、手臂疲劳、眼部疲劳 ⭐⭐⭐⭐⭐ 人因工程学
环境适配 光线、空间、噪音、安全 ⭐⭐⭐⭐ MR 环境设计案例

实际应用场景

  • VR 游戏 → 瞬移移动 vs 平滑移动、舒适区提示
  • AR 眼镜 → 户外强光适配、安全区域提示

可用性测试

能力领域 核心技能 重要度 掌握程度 最佳学习路径
测试方法 任务测试、A/B 测试、远程测试 ⭐⭐⭐⭐⭐ VR/AR 可用性测试方法
数据收集 眼动追踪、手部轨迹、生理指标 ⭐⭐⭐⭐ Tobii/PicoV 用户分析
迭代优化 问题识别、方案设计、验证闭环 ⭐⭐⭐⭐⭐ UX 设计流程

实际应用场景

  • VR 培训 → 测试学习效果、任务完成率
  • AR 购物 → 测试转化率、用户停留时长

推荐资源


12. 用户研究

空间产品的用户测试方法和传统完全不同------需要设备、空间、观察记录。

研究方法

能力领域 核心技能 重要度 掌握程度 最佳学习路径
实地观察 用户行为、环境因素、使用场景 ⭐⭐⭐⭐⭐ 人种学研究方法
用户访谈 需求挖掘、痛点识别、使用动机 ⭐⭐⭐⭐⭐ 用户研究访谈技巧
可用性测试 任务设计、观察记录、问题归因 ⭐⭐⭐⭐⭐ 《用户体验要素》
数据分析 行为数据、生理数据、问卷数据 ⭐⭐⭐⭐ 定量/定性分析

实际应用场景

  • 企业 VR 培训 → 观察员工使用、识别学习障碍
  • 消费者 AR 应用 → 用户访谈、挖掘真实需求

设备与空间

能力领域 核心技能 重要度 掌握程度 最佳学习路径
测试环境搭建 安全空间、设备配置、观察设备 ⭐⭐⭐⭐ VR 可用性实验室设计
设备管理 多设备测试、版本控制、数据同步 ⭐⭐⭐⭐ 设备管理最佳实践
远程测试 远程协助、屏幕共享、数据收集 ⭐⭐⭐⭐ 远程用户测试工具

实际应用场景

  • 企业测试环境 → 搭建 VR 测试室、多设备管理
  • 远程用户测试 → 通过录屏+语音收集反馈

13. 内容创作与叙事

空间计算本质是体验,体验需要内容。游戏、培训、展览都需要关卡设计、剧本、角色、节奏把控。

叙事设计

能力领域 核心技能 重要度 掌握程度 最佳学习路径
空间叙事 环境叙事、空间动线、故事节奏 ⭐⭐⭐⭐⭐ 游戏叙事设计
互动叙事 分支剧情、玩家选择、动态反馈 ⭐⭐⭐⭐⭐ 互动叙事理论
角色设计 NPC、对话、行为逻辑 ⭐⭐⭐⭐ 游戏角色设计

实际应用场景

  • VR 游戏 → 环境叙事 + 分支剧情
  • 企业培训 → 情景模拟 + 互动选择

关卡设计

能力领域 核心技能 重要度 掌握程度 最佳学习路径
空间布局 区域划分、动线设计、视觉引导 ⭐⭐⭐⭐⭐ 游戏关卡设计理论
难度曲线 学习曲线、挑战递进、技能引导 ⭐⭐⭐⭐⭐ 《游戏设计艺术》
探索引导 视觉提示、声音引导、空间暗示 ⭐⭐⭐⭐⭐ 关卡设计案例研究

实际应用场景

  • VR 游戏 → 关卡布局 + 难度递进
  • AR 展览 → 参观动线 + 信息层级

内容类型

能力领域 核心技能 重要度 掌握程度 最佳学习路径
游戏内容 玩法设计、系统设计、经济系统 ⭐⭐⭐⭐ 游戏设计文档
培训内容 学习目标、情景设计、评估方法 ⭐⭐⭐⭐⭐ 教学设计理论
展览内容 空间叙事、展品呈现、互动设计 ⭐⭐⭐⭐ 博物馆展陈设计

实际应用场景

  • 企业 VR 培训 → 情景设计 + 学习评估
  • 博物馆 AR 展览 → 空间叙事 + 互动体验

推荐资源

  • 《游戏设计艺术》Jesse Schell
  • 《体验引擎:游戏设计全景探秘》
  • GDC Vault 关卡设计演讲

14. 跨学科协作

美术、技术、设计、音频、内容------比传统软件开发更复杂的团队协作。

团队角色

能力领域 核心技能 重要度 掌握程度 最佳学习路径
角色理解 美术、技术、设计、音频、内容 ⭐⭐⭐⭐⭐ XR 团队结构研究
跨职能沟通 需求翻译、技术约束、设计落地 ⭐⭐⭐⭐⭐ 跨职能协作方法论
迭代流程 Sprint、评审、反馈闭环 ⭐⭐⭐⭐⭐ 敏捷开发实践

实际应用场景

  • VR 项目 → 美术建模 → 技术集成 → 设计调优 → 迭代
  • AR 产品 → 内容策划 → 开发实现 → 用户测试 → 迭代

协作工具与流程

能力领域 核心技能 重要度 掌握程度 最佳学习路径
版本控制 Git LFS、资产版本、场景版本 ⭐⭐⭐⭐⭐ Git LFS 文档
资产流水线 USD、glTF、跨工具协作 ⭐⭐⭐⭐⭐ OpenUSD 工作流
项目管理 Jira、Notion、进度跟踪 ⭐⭐⭐⭐ 项目管理最佳实践

实际应用场景

  • 团队协作 → 美术用 Maya → 导出 USD → 程序在 UE 引用
  • 版本管理 → Git LFS 管理大资产 → 多人协作

15. 商业与产品

能做出来 ≠ 能卖出去。行业理解、商业模式、市场洞察。

行业洞察

能力领域 核心技能 重要度 掌握程度 最佳学习路径
市场格局 Quest、Vision Pro、PICO 市场份额 ⭐⭐⭐⭐⭐ 行业报告、新闻跟踪
用户群体 B 端 vs C 端、年龄、地区 ⭐⭐⭐⭐⭐ 用户画像研究
趋势判断 技术趋势、应用场景、投资热点 ⭐⭐⭐⭐ 行业峰会、投资报告

实际应用场景

  • 产品定位 → Quest 主打游戏、Vision Pro 主办办公、PICO 主打企业
  • 市场选择 → C 端游戏 vs B 端培训

商业模式

能力领域 核心技能 重要度 掌握程度 最佳学习路径
收费模式 一次性购买、订阅、内购、B 端授权 ⭐⭐⭐⭐ 商业模式研究
成本结构 研发成本、运营成本、分成模式 ⭐⭐⭐⭐ 成本核算实践
变现路径 应用商店、企业定制、SaaS ⭐⭐⭐⭐ 商业案例分析

实际应用场景

  • VR 游戏 → 应用商店销售 + DLC
  • 企业培训 → B 端定制开发 + SaaS 订阅

产品思维

能力领域 核心技能 重要度 掌握程度 最佳学习路径
需求洞察 用户痛点、场景分析、价值主张 ⭐⭐⭐⭐⭐ 《启示录》
MVP 设计 核心功能、快速验证、迭代方向 ⭐⭐⭐⭐⭐ 精益创业方法论
数据驱动 关键指标、A/B 测试、增长策略 ⭐⭐⭐⭐ 增长黑客

实际应用场景

  • 产品规划 → 识别用户痛点 → 设计 MVP → 验证迭代
  • 增长策略 → 数据分析 → 优化转化 → 规模推广

16. 身体与运动理解

手柄怎么设计不累?手势怎么设计不抽筋?人机工程学、生物力学、运动学。

人机工程学

能力领域 核心技能 重要度 掌握程度 最佳学习路径
颈部负荷 头显重量、重心、佩戴舒适度 ⭐⭐⭐⭐⭐ 人机工程学标准
手臂疲劳 手势设计、操作时长、交互频率 ⭐⭐⭐⭐⭐ 疲劳研究论文
视觉舒适 屏幕距离、亮度、对比度、焦点 ⭐⭐⭐⭐⭐ 视觉人机工程

实际应用场景

  • VR 手柄设计 → 重量、重心、握持角度
  • AR 眼镜 → 佩戴舒适度、长时间使用

运动设计

能力领域 核心技能 重要度 掌握程度 最佳学习路径
自然手势 常见手势、文化差异、疲劳阈值 ⭐⭐⭐⭐⭐ 手势设计研究
运动范围 手臂活动范围、关节限制 ⭐⭐⭐⭐ 生物力学基础
反馈设计 视觉、听觉、触觉反馈 ⭐⭐⭐⭐⭐ 多模态反馈研究

实际应用场景

  • 手势设计 → 避免长时间举手、避免频繁重复
  • 反馈设计 → 触觉震动 + 视觉确认 + 声音提示

17. 伦理与安全

隐私(摄像头拍家里)、内容安全、健康影响(眼睛、颈椎、成瘾)。

隐私保护

能力领域 核心技能 重要度 掌握程度 最佳学习路径
数据采集 摄像头、麦克风、位置、手势 ⭐⭐⭐⭐⭐ 隐私法规、GDPR
数据处理 本地处理 vs 云端、加密、匿名化 ⭐⭐⭐⭐⭐ 数据安全最佳实践
用户知情 权限说明、使用透明、用户控制 ⭐⭐⭐⭐⭐ 隐私设计模式

实际应用场景

  • AR 眼镜 → 摄像头采集环境 → 需要用户明确授权
  • VR 设备 → 手势/眼动数据 → 需要隐私保护

内容安全

能力领域 核心技能 重要度 掌握程度 最佳学习路径
内容审核 暴力、色情、仇恨言论 ⭐⭐⭐⭐⭐ 内容审核标准
年龄分级 分级制度、家长控制 ⭐⭐⭐⭐ ESRB/PEGI 分级
心理影响 恐怖、焦虑、PTSD 触发 ⭐⭐⭐⭐⭐ 心理健康研究

实际应用场景

  • VR 游戏 → 内容分级、家长控制
  • 社交 VR → 骚扰防护、举报机制

健康影响

能力领域 核心技能 重要度 掌握程度 最佳学习路径
视觉健康 近视风险、蓝光、焦点疲劳 ⭐⭐⭐⭐⭐ 眼科研究、屏幕护眼
颈椎健康 长期佩戴、姿势影响 ⭐⭐⭐⭐⭐ 颈椎健康指南
运动损伤 碰撞、跌倒、空间安全 ⭐⭐⭐⭐ VR 安全指南
成瘾问题 使用时长、戒断、依赖 ⭐⭐⭐⭐ 行为成瘾研究

实际应用场景

  • VR 产品 → 使用时长提醒、休息提示
  • MR 应用 → 安全区域提示、碰撞预警

18. 基础能力(底层支撑)

图形学基础

能力领域 核心技能 重要度 掌握程度 最佳学习路径
渲染管线 顶点处理、光栅化、片段着色 ⭐⭐⭐⭐⭐ LearnOpenGL (强烈推荐)
着色器编程 GLSL/HLSL、PBR 实现 ⭐⭐⭐⭐⭐ The Book of Shaders
光照模型 Phong、PBR、IBL ⭐⭐⭐⭐⭐ Scratchapixel

实际应用场景

  • 自定义卡通渲染 → 编写 Toon Shader → 风格化游戏
  • 优化 PBR 材质 → IBL 环境光照 → 真实感渲染

线性代数

能力领域 核心技能 重要度 掌握程度 最佳学习路径
矩阵变换 平移、旋转、缩放、齐次坐标 ⭐⭐⭐⭐⭐ 3Blue1Brown 线代视频
四元数 旋转表示、插值、万向锁 ⭐⭐⭐⭐⭐ 四元数可视化
投影 透视投影、正交投影 ⭐⭐⭐⭐ LearnOpenGL 坐标系统章节

实际应用场景

  • 3D 物体旋转 → 用四元数避免万向锁
  • 相机跟随 → 平滑插值 → 自然过渡

性能优化

能力领域 核心技能 重要度 掌握程度 最佳学习路径
LOD 层级细节、自动生成、切换策略 ⭐⭐⭐⭐⭐ Unity/UE 官方 LOD 文档
遮挡剔除 视锥剔除、遮挡查询 ⭐⭐⭐⭐ GPU Gems 遮挡剔除章节
DrawCall 优化 批处理、GPU Instancing ⭐⭐⭐⭐⭐ Unity Graphics Best Practices
内存管理 资源卸载、对象池、GC 优化 ⭐⭐⭐⭐⭐ Unity Memory Profiler 文档

实际应用场景

  • 移动端 VR → 优化渲染 → 保持 72/90 FPS
  • 大型场景 → LOD + 遮挡剔除 → 降低 GPU 负载

学习路线建议

第一阶段:打好基础(2-3 个月)

  1. 图形学基础

    • 完成 LearnOpenGL 基础章节
    • 理解渲染管线、着色器编程
    • 实践:实现一个简单的 PBR 材质
  2. 线性代数

    • 看 3Blue1Brown 视频
    • 理解矩阵变换、四元数
    • 实践:实现相机跟随和平滑旋转
  3. Three.js 入门

    • 完成官方教程
    • 理解场景、相机、渲染器
    • 实践:制作一个 3D 产品展示页

第二阶段:选择引擎(3-4 个月)

Unity 路线

  1. 完成 Unity Learn 基础课程
  2. 学习 XR Interaction Toolkit
  3. 实践:制作一个 VR 小游戏

Unreal 路线

  1. 完成官方 VR 模板教程
  2. 学习蓝图编程
  3. 实践:制作一个建筑可视化 Demo

第三阶段:感知与交互(2-3 个月)

  1. 计算机视觉

    • OpenCV 基础教程
    • YOLO 目标检测
    • 实践:AR 目标检测 Demo
  2. 手势识别

    • MediaPipe Hands 教程
    • 实践:VR 手势 UI 交互

第四阶段:3D 内容(2-3 个月)

  1. glTF 格式

    • 理解 PBR 材质
    • 实践:导出/加载 glTF 模型
  2. OpenUSD

    • 官方教程
    • 实践:Unity/UE USD 工作流
  3. 3D 高斯泼溅

    • 运行官方代码
    • 实践:扫描一个场景

第五阶段:平台适配(1-2 个月)

  1. 选择目标平台

    • Quest:最广泛的市场
    • Vision Pro:高端市场
    • PICO:企业市场
  2. 深入学习 SDK

    • 完成平台官方教程
    • 实践:部署到真机

推荐学习资源汇总

免费资源

付费资源(推荐)

实践项目建议

  1. 入门级:3D 产品展示页(Three.js + glTF)
  2. 进阶级:VR 密室逃脱游戏(Unity XR)
  3. 高级:AR 工业巡检 App(ARCore + YOLO)
  4. 专家级:MR 空间协作平台(Quest + SLAM)

整理者:小O | 2026-03-18

相关推荐
别或许3 小时前
4线性代数之线性方程组(知识总结)
线性代数
TMT星球4 小时前
多款新品亮相AWE 2026,XREAL瞄准下一代空间计算平台
空间计算
Peter·Pan爱编程5 小时前
第5节:CUDA矩阵乘法实现
线性代数·矩阵
Tisfy6 小时前
LeetCode 3070.元素和小于等于 k 的子矩阵的数目:原地修改(前缀和思想)
算法·leetcode·前缀和·矩阵
季远迩6 小时前
240. 搜索二维矩阵 II(中等)
人工智能·算法·矩阵
中科院提名者6 小时前
从数学和矩阵运算的底层逻辑来透视 仅解码器 Transformer (Decoder-only Transformer) 预填充阶段的全过程
线性代数·矩阵·transformer
AI科技星7 小时前
从v=c螺旋时空公理出发的引力与电磁常数大统一
c语言·开发语言·人工智能·线性代数·算法·矩阵·数据挖掘
Tisfy1 天前
LeetCode 1727.重新排列后的最大子矩阵:枚举矩形底边是哪一行 + 排序
算法·leetcode·矩阵
样例过了就是过了1 天前
LeetCode热题100 搜索二维矩阵
数据结构·c++·算法·leetcode·矩阵