空间计算时代能力矩阵
整理于 2026-03-18,用于自我评估与学习规划
1. 开发平台与引擎
Unity
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Unity 基础 | 场景、组件、脚本生命周期 | ⭐⭐⭐⭐⭐ | ⬜ | Unity Learn 官方免费课程 |
| Unity XR | XR Interaction Toolkit、手部追踪 | ⭐⭐⭐⭐⭐ | ⬜ | XR 开发路径 |
| Shader 编程 | HLSL、表面着色器、后处理 | ⭐⭐⭐⭐ | ⬜ | Catlike Coding 教程 |
| 性能优化 | Profiler、批处理、LOD | ⭐⭐⭐⭐ | ⬜ | Unity 官方 Optimizing Your Unity App |
实际应用场景:
- 开发一个 VR 密室逃脱游戏 → 用到 XR Interaction、物理系统、烘焙光照
- 开发一个 AR 家具摆放 App → 用到 AR Foundation、平面检测、锚点持久化
Unreal Engine
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| UE 基础 | 蓝图、材质、Niagara | ⭐⭐⭐⭐ | ⬜ | Unreal Online Learning |
| UE XR | OpenXR、XR Pawn、运动控制 | ⭐⭐⭐⭐ | ⬜ | 官方 VR 模板 + 文档 |
| Nanite/Lumen | 虚拟几何、全局光照 | ⭐⭐⭐⭐ | ⬜ | Epic 官方演示项目 |
实际应用场景:
- 开发一个高保真建筑可视化 Demo → 用到 Nanite、Lumen、后处理体积
- 开发一个 VR 训练模拟器 → 用到物理约束、动画蓝图、XR 输入
原生 XR 开发
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| OpenXR | xrGetInstanceProcAddr、SwapChain | ⭐⭐⭐⭐ | ⬜ | Khronos OpenXR 教程 |
| Android XR | Jetpack XR、ARCore Extended | ⭐⭐⭐⭐ | ⬜ | Android XR 开发者指南 |
| visionOS | ARKit、RealityKit、空间锚点 | ⭐⭐⭐⭐ | ⬜ | Apple 开发者文档 |
实际应用场景:
- 为企业开发定制的 AR 工业巡检 App → 用到 ARCore、图像识别、远程协作
- 开发 Vision Pro 的空间窗口管理器 → 用到 ARKit 锚点、HandTracking、SceneReconstruction
2. 3D 建模与重建
传统 3D 建模
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Blender 基础 | 建模、UV、材质、渲染 | ⭐⭐⭐⭐ | ⬜ | Blender Guru甜甜圈教程 |
| 低模拓扑 | 四边形建模、法线烘焙 | ⭐⭐⭐⭐ | ⬜ | FlippedNormals 拓扑教程 |
| PBR 材质 | 粗糙度/金属度/法线/高度 | ⭐⭐⭐⭐ | ⬜ | Substance 3D 官方教程 |
实际应用场景:
- 为 VR 游戏制作低模道具 → Blender 建模 → 烘焙法线 → 导出 glTF
- 为 AR 产品展示制作高质量模型 → PBR 材质 → Substance Painter 绘制
摄影测量
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Meshroom | 照片采集、网格生成、纹理 | ⭐⭐⭐⭐ | ⬜ | Meshroom 官方 Wiki |
| RealityCapture | 高精度扫描、对齐、纹理 | ⭐⭐⭐⭐ | ⬜ | Epic 学习课程 |
实际应用场景:
- 扫描博物馆文物,创建 3D 数字展厅 → 拍摄 200+ 张照片 → Meshroom 重建 → 清理模型
- 房地产 VR 看房 → 扫描真实房间 → 优化模型 → 部署到 Quest
3D 高斯泼溅
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Gaussian Splatting | 训练、渲染、压缩 | ⭐⭐⭐⭐⭐ | ⬜ | 原论文+代码 |
| 实时查看器 | SIBR_viewer、WebGL 渲染 | ⭐⭐⭐⭐ | ⬜ | gsplat.js |
| 压缩优化 | 剪枝、量化、LOD | ⭐⭐⭐⭐ | ⬜ | 3DGS 压缩论文 |
实际应用场景:
- 用手机拍摄街景 → 训练 3DGS → 部署到网页端实时漫游
- VR/AR 场景重建 → 比传统网格更快、更逼真 → 适合实时渲染
生成式 3D
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Tripo AI | 文本/图像转3D、API调用 | ⭐⭐⭐⭐⭐ | ⬜ | Tripo API 文档 |
| Luma AI | 视频转3D、NeRF | ⭐⭐⭐⭐ | ⬜ | Luma AI 官网 |
| Kaapia | 扫描转CAD | ⭐⭐⭐⭐ | ⬜ | Kaapia 官网 |
实际应用场景:
- 用户上传一张产品图 → Tripo 生成 3D 模型 → 放入 AR 场景展示
- 拍摄一段产品视频 → Luma 生成 3D → 用于电商展示
3. 计算机视觉与感知
基础 CV
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| OpenCV 基础 | 图像处理、特征点、轮廓 | ⭐⭐⭐⭐⭐ | ⬜ | OpenCV 官方教程 |
| 相机标定 | 内参、外参、畸变校正 | ⭐⭐⭐⭐ | ⬜ | LearnOpenCV 教程 |
实际应用场景:
- AR 相机标定 → 校正镜头畸变 → 虚拟物体精准叠加
- 工业质检 → 检测产品缺陷 → 自动分类
目标检测
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| YOLO | 训练、推理、自定义数据集 | ⭐⭐⭐⭐ | ⬜ | Ultralytics YOLOv8 文档 |
| 实时推理 | TensorRT 优化、ONNX 导出 | ⭐⭐⭐⭐ | ⬜ | YOLO TensorRT 教程 |
实际应用场景:
- AR 试穿 → 检测人体关键点 → 叠加虚拟服装
- 工业巡检 → 检测设备异常 → 自动报警
SLAM
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| ORB-SLAM | 特征提取、位姿估计、地图构建 | ⭐⭐⭐⭐⭐ | ⬜ | ORB-SLAM3 GitHub |
| VIO | IMU 融合、视觉惯性里程计 | ⭐⭐⭐⭐⭐ | ⬜ | VINS-Mono |
| AR SDK | ARKit、ARCore 平面检测 | ⭐⭐⭐⭐⭐ | ⬜ | ARCore 官方文档 |
实际应用场景:
- AR 导航 → SLAM 建立地图 → 在真实环境中叠加导航箭头
- VR 定位 → Inside-out 追踪 → 无需外部基站
手势识别
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| MediaPipe | 手部关键点、手势识别 | ⭐⭐⭐⭐ | ⬜ | MediaPipe 官方文档 |
| 自定义手势 | 数据集、训练、部署 | ⭐⭐⭐⭐ | ⬜ | MediaPipe Hands 教程 |
实际应用场景:
- VR 手势交互 → 检测捏合/张开 → 触发 UI 事件
- 手语翻译 → 识别手势序列 → 转换为文字
人体姿态
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 姿态估计 | OpenPose、MoveNet、关键点 | ⭐⭐⭐⭐ | ⬜ | MediaPipe Pose |
| 动作捕捉 | IK/FK、Avatar 驱动 | ⭐⭐⭐⭐ | ⬜ | Final IK (Unity 插件) |
实际应用场景:
- VR 社交 Avatar → 捕捉真人动作 → 实时驱动虚拟形象
- 运动分析 → 检测姿态 → 纠正运动姿势
4. 标准与互操作
OpenUSD
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| USD 基础 | .usd/.usda 文件、Stage、Prim | ⭐⭐⭐⭐⭐ | ⬜ | OpenUSD 官方教程 |
| USD in Unity | Unity USD 插件、导入导出 | ⭐⭐⭐⭐ | ⬜ | Unity USD 包文档 |
| USD in UE | USD Stage、Live Link | ⭐⭐⭐⭐ | ⬜ | UE USD 文档 |
实际应用场景:
- 团队协作 → 美术用 Maya 建模 → 导出 USD → 程序在 Unity/UE 中引用
- 电影/游戏流水线 → USD 作为中间格式 → 跨工具无损传递
glTF/glb
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| glTF 格式 | JSON 结构、PBR 材质、动画 | ⭐⭐⭐⭐⭐ | ⬜ | glTF 官方教程 |
| Draco 压缩 | 几何压缩、解码 | ⭐⭐⭐⭐ | ⬜ | Draco GitHub |
| 运行时加载 | Three.js/GLTFLoader、模型优化 | ⭐⭐⭐⭐⭐ | ⬜ | Three.js glTF 教程 |
实际应用场景:
- Web 3D 展示 → 导出 glTF → 网页加载 → 实时渲染
- AR 模型分发 → glb 格式 → 小体积、快速加载
OpenXR
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| OpenXR 概念 | Instance、Session、Action | ⭐⭐⭐⭐⭐ | ⬜ | OpenXR 规范 |
| OpenXR 开发 | 手柄输入、定位空间、扩展 | ⭐⭐⭐⭐⭐ | ⬜ | OpenXR 示例代码 |
实际应用场景:
- 开发跨平台 XR 应用 → 一套代码 → Quest/PICO/Vive 都能跑
- 自定义手柄映射 → OpenXR Action → 兼容多种控制器
5. Web 与跨平台前端
Three.js
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Three.js 基础 | 场景、相机、渲染器、几何体 | ⭐⭐⭐⭐⭐ | ⬜ | Three.js 官方教程 |
| 材质与光照 | PBR 材质、阴影、后处理 | ⭐⭐⭐⭐⭐ | ⬜ | Three.js Journey (付费推荐) |
| WebXR | VR/AR 模式、控制器、锚点 | ⭐⭐⭐⭐⭐ | ⬜ | Three.js WebXR 示例 |
| Shader | 自定义材质、后处理特效 | ⭐⭐⭐⭐ | ⬜ | The Book of Shaders |
实际应用场景:
- 产品 3D 展示页 → 加载 glTF → 360° 旋转 → 用户交互
- WebXR 体验 → 点击按钮 → 进入 VR 模式 → 手柄交互
Babylon.js
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Babylon.js 基础 | 场景、相机、物理引擎 | ⭐⭐⭐⭐ | ⬜ | Babylon.js 官方教程 |
| WebXR | VR/AR、锚点持久化 | ⭐⭐⭐⭐ | ⬜ | Babylon.js WebXR 指南 |
实际应用场景:
- 在线 3D 编辑器 → 实时编辑场景 → 导出 USD/glTF
- WebXR 游戏 → 物理引擎 → 真实碰撞反馈
WebGPU
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| WebGPU 基础 | Device、Pipeline、Shader | ⭐⭐⭐⭐⭐ | ⬜ | WebGPU 官方规范 |
| 计算着色器 | GPGPU、粒子系统、CV 加速 | ⭐⭐⭐⭐⭐ | ⬜ | WebGPU Samples |
实际应用场景:
- 网页端 3DGS 渲染 → WebGPU 计算着色器 → 高性能实时渲染
- 网页端 AI 推理 → WebGPU 加速 → 无需后端服务器
6. AI/生成式能力
扩散模型
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Stable Diffusion | 文生图、ControlNet、Inpainting | ⭐⭐⭐⭐ | ⬜ | HuggingFace Diffusers 教程 |
| LoRA 微调 | 自定义风格、角色 | ⭐⭐⭐⭐ | ⬜ | LoRA 训练教程 |
实际应用场景:
- 游戏材质生成 → 输入文本 → 生成贴图 → 应用于 3D 模型
- AR 滤镜 → 实时风格迁移 → 用户体验增强
3D 生成
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Tripo API | 文本/图像转3D、模型格式 | ⭐⭐⭐⭐⭐ | ⬜ | Tripo API 文档 |
| Meshy | 文本转3D、纹理生成 | ⭐⭐⭐⭐ | ⬜ | Meshy 官网 |
实际应用场景:
- 用户输入 "一把木质椅子" → Tripo 生成模型 → 导入 AR 场景
- 游戏资产生成 → 快速原型 → 人工精修
实时 AI 推理
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| ONNX | 模型导出、跨框架部署 | ⭐⭐⭐⭐ | ⬜ | ONNX 官方教程 |
| TensorRT | NVIDIA GPU 优化、INT8 量化 | ⭐⭐⭐⭐ | ⬜ | TensorRT 开发者指南 |
| ONNX Runtime | CPU/GPU 推理、移动端部署 | ⭐⭐⭐⭐ | ⬜ | ONNX Runtime 文档 |
实际应用场景:
- 移动端 AR → 部署 YOLO 模型 → 实时目标检测
- VR 设备 → 本地语音识别 → 隐私保护、低延迟
7. 硬件平台适配
Meta Quest
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Quest 开发 | Meta XR SDK、Passthrough | ⭐⭐⭐⭐⭐ | ⬜ | Meta 开发者文档 |
| 手部追踪 | Hand Tracking API、手势识别 | ⭐⭐⭐⭐⭐ | ⬜ | Meta Hand Tracking 指南 |
| 空间映射 | Scene Mesh、空间锚点 | ⭐⭐⭐⭐⭐ | ⬜ | Scene Model 指南 |
实际应用场景:
- MR 游戏 → Passthrough 显示真实环境 → 虚拟物体与真实物体交互
- 企业培训 → 手势操作培训流程 → 无需手柄
Apple Vision Pro
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| visionOS 开发 | SwiftUI、RealityKit、ARKit | ⭐⭐⭐⭐ | ⬜ | Apple visionOS 教程 |
| 空间计算 | 空间锚点、HandTracking、SceneReconstruction | ⭐⭐⭐⭐⭐ | ⬜ | ARKit 文档 |
实际应用场景:
- 空间窗口应用 → 多窗口布局 → 手势交互
- 企业协作 → 共享空间锚点 → 远程协作
PICO
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| PICO SDK | XR Interaction、Passthrough | ⭐⭐⭐⭐ | ⬜ | PICO 开发者文档 |
| 企业功能 | Kiosk 模式、MDM、批量部署 | ⭐⭐⭐⭐ | ⬜ | PICO 企业文档 |
实际应用场景:
- 企业展厅 → Kiosk 模式 → 自动启动应用
- 培训中心 → 批量部署 → 远程管理设备
8. 美术与设计能力
核心洞察:技术决定"能不能做",美术决定"值不值得看"。AI 会打平技能门槛,审美判断将成为核心能力。
审美培养
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 审美直觉 | 看出好坏、识别风格、建立品味 | ⭐⭐⭐⭐⭐ | ⬜ | ArtStation/Pinterest 每日浏览 |
| 参考库建设 | 分类整理、快速检索、灵感来源 | ⭐⭐⭐⭐ | ⬜ | Pinterest 画板、Eagle 素材管理 |
| 风格分析 | 拆解优秀作品的构成要素 | ⭐⭐⭐⭐⭐ | ⬜ | ArtStation 案例研究 |
实际应用场景:
- 评估 AI 生成的 3D 模型质量 → 审美判断决定取舍
- 指导团队美术方向 → 品味决定产品气质
视觉设计基础
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 构图 | 三分法、黄金分割、视觉焦点 | ⭐⭐⭐⭐⭐ | ⬜ | 《视觉艺术构图原理》 |
| 色彩理论 | 色彩心理、对比调和、情绪表达 | ⭐⭐⭐⭐⭐ | ⬜ | 《色彩与光线》James Gurney |
| 光影设计 | 三点光源、环境光、阴影情绪 | ⭐⭐⭐⭐⭐ | ⬜ | 《电影布光艺术》 |
| 空间透视 | 透视原理、景深层次、视觉引导 | ⭐⭐⭐⭐ | ⬜ | 《透视画法入门》 |
实际应用场景:
- VR 场景灯光 → 引导玩家视线、营造氛围
- AR 界面设计 → 色彩对比确保可读性
空间美术
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 场景美术 | 空间构图、层次感、叙事性 | ⭐⭐⭐⭐⭐ | ⬜ | FlippedNormals 场景教程 |
| 材质美术 | PBR 材质、纹理绘制、真实感 | ⭐⭐⭐⭐⭐ | ⬜ | Substance 3D 教程 |
| 灯光美术 | 气氛营造、光影叙事、GI | ⭐⭐⭐⭐⭐ | ⬜ | UE/Unity 灯光官方教程 |
| 特效美术 | 粒子设计、流体动画、视觉冲击 | ⭐⭐⭐⭐ | ⬜ | Unity VFX Graph / UE Niagara |
实际应用场景:
- VR 游戏 → 场景美术决定沉浸感
- MR 体验 → 灯光融合真实与虚拟
技术美术
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| Shader 编程 | 自定义材质、视觉特效 | ⭐⭐⭐⭐⭐ | ⬜ | The Book of Shaders |
| 渲染管线 | URP/HDRP、自定义管线 | ⭐⭐⭐⭐ | ⬜ | Unity/UE 渲染文档 |
| 性能调优 | DrawCall、内存、帧率 | ⭐⭐⭐⭐⭐ | ⬜ | Unity Profiler 深入指南 |
实际应用场景:
- 自定义风格化渲染 → 卡通、水彩、像素风
- 移动端优化 → 保持美术效果同时降开销
空间设计
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 空间信息架构 | 3D 界面布局、信息层次 | ⭐⭐⭐⭐⭐ | ⬜ | 《设计虚拟世界》 |
| 空间叙事 | 动线设计、故事引导、情绪节奏 | ⭐⭐⭐⭐⭐ | ⬜ | 游戏关卡设计理论 |
| 空间音频设计 | 声音定位、环境音效、沉浸感 | ⭐⭐⭐⭐ | ⬜ | Wwise/FMOD 教程 |
| 人因工程 | 眩晕预防、舒适度、可访问性 | ⭐⭐⭐⭐⭐ | ⬜ | Oculus VR 舒适指南 |
实际应用场景:
- VR 展览设计 → 参观动线、信息层级
- MR 办公空间 → 窗口布局、交互距离
推荐资源
审美培养:
- ArtStation ------ 游戏影视美术社区
- Pinterest ------ 建立参考板
- Behance ------ 设计作品展示
系统学习:
- 《色彩与光线》James Gurney
- 《视觉艺术构图原理》
- The Gnomon Workshop(付费,专业级)
日常练习:
- 每日 ArtStation 浏览 20 分钟
- 建立分类参考库(场景/角色/材质/UI)
- 临摹分析优秀作品的光影和构图
10. 交互设计
空间交互是全新范式:手势、视线、空间定位、语音、多模态融合。不是"把 2D 按钮放到 3D 空间里"。
空间交互基础
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 手势交互 | 捏合、抓取、滑动、自定义手势 | ⭐⭐⭐⭐⭐ | ⬜ | Meta Hand Tracking 指南 |
| 视线交互 | 眼动追踪、凝视选择、注视反馈 | ⭐⭐⭐⭐⭐ | ⬜ | Apple Vision Pro 人机界面指南 |
| 空间定位 | 世界锁定、锚点、跟随头部 | ⭐⭐⭐⭐⭐ | ⬜ | ARKit/ARCore 锚点文档 |
| 语音交互 | 语音命令、自然语言、多语言 | ⭐⭐⭐⭐ | ⬜ | Siri/语音 SDK 集成 |
| 多模态融合 | 手势+语音+视线协同 | ⭐⭐⭐⭐⭐ | ⬜ | 学术论文 + 实践案例 |
实际应用场景:
- VR 界面 → 手柄射线 + 手势捏合 + 语音命令
- AR 眼镜 → 眼动选择 + 手势确认 + 空间定位
交互模式设计
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 近场交互 | 触手可及、直接操作、物理反馈 | ⭐⭐⭐⭐⭐ | ⬜ | VR 交互设计案例 |
| 远场交互 | 射线、抛物线、凝视+捏合 | ⭐⭐⭐⭐⭐ | ⬜ | Meta/Apple 设计指南 |
| 空间 UI 布局 | 窗口、面板、跟随、固定 | ⭐⭐⭐⭐⭐ | ⬜ | visionOS HIG |
| 物理交互 | 碰撞、抓取、投掷、力反馈 | ⭐⭐⭐⭐ | ⬜ | Unity XR Interaction |
实际应用场景:
- MR 办公 → 多窗口布局 + 空间定位 + 手势拖拽
- VR 游戏 → 物理抓取 + 投掷 + 触觉反馈
推荐资源
11. 用户体验设计
VR 有眩晕、AR 有遮挡、MR 有虚实融合问题。舒适度、可访问性、防晕都是硬指标。
空间 UX 基础
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 眩晕预防 | 运动方式、帧率、视野、舒适区 | ⭐⭐⭐⭐⭐ | ⬜ | Oculus VR 舒适指南 |
| 可访问性 | 视觉障碍、运动障碍、认知障碍 | ⭐⭐⭐⭐⭐ | ⬜ | XR Accessibility |
| 舒适度设计 | 颈部负荷、手臂疲劳、眼部疲劳 | ⭐⭐⭐⭐⭐ | ⬜ | 人因工程学 |
| 环境适配 | 光线、空间、噪音、安全 | ⭐⭐⭐⭐ | ⬜ | MR 环境设计案例 |
实际应用场景:
- VR 游戏 → 瞬移移动 vs 平滑移动、舒适区提示
- AR 眼镜 → 户外强光适配、安全区域提示
可用性测试
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 测试方法 | 任务测试、A/B 测试、远程测试 | ⭐⭐⭐⭐⭐ | ⬜ | VR/AR 可用性测试方法 |
| 数据收集 | 眼动追踪、手部轨迹、生理指标 | ⭐⭐⭐⭐ | ⬜ | Tobii/PicoV 用户分析 |
| 迭代优化 | 问题识别、方案设计、验证闭环 | ⭐⭐⭐⭐⭐ | ⬜ | UX 设计流程 |
实际应用场景:
- VR 培训 → 测试学习效果、任务完成率
- AR 购物 → 测试转化率、用户停留时长
推荐资源
- Oculus VR 舒适指南
- XR Accessibility Guidelines
- 《VR 用户体验设计》相关书籍
12. 用户研究
空间产品的用户测试方法和传统完全不同------需要设备、空间、观察记录。
研究方法
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 实地观察 | 用户行为、环境因素、使用场景 | ⭐⭐⭐⭐⭐ | ⬜ | 人种学研究方法 |
| 用户访谈 | 需求挖掘、痛点识别、使用动机 | ⭐⭐⭐⭐⭐ | ⬜ | 用户研究访谈技巧 |
| 可用性测试 | 任务设计、观察记录、问题归因 | ⭐⭐⭐⭐⭐ | ⬜ | 《用户体验要素》 |
| 数据分析 | 行为数据、生理数据、问卷数据 | ⭐⭐⭐⭐ | ⬜ | 定量/定性分析 |
实际应用场景:
- 企业 VR 培训 → 观察员工使用、识别学习障碍
- 消费者 AR 应用 → 用户访谈、挖掘真实需求
设备与空间
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 测试环境搭建 | 安全空间、设备配置、观察设备 | ⭐⭐⭐⭐ | ⬜ | VR 可用性实验室设计 |
| 设备管理 | 多设备测试、版本控制、数据同步 | ⭐⭐⭐⭐ | ⬜ | 设备管理最佳实践 |
| 远程测试 | 远程协助、屏幕共享、数据收集 | ⭐⭐⭐⭐ | ⬜ | 远程用户测试工具 |
实际应用场景:
- 企业测试环境 → 搭建 VR 测试室、多设备管理
- 远程用户测试 → 通过录屏+语音收集反馈
13. 内容创作与叙事
空间计算本质是体验,体验需要内容。游戏、培训、展览都需要关卡设计、剧本、角色、节奏把控。
叙事设计
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 空间叙事 | 环境叙事、空间动线、故事节奏 | ⭐⭐⭐⭐⭐ | ⬜ | 游戏叙事设计 |
| 互动叙事 | 分支剧情、玩家选择、动态反馈 | ⭐⭐⭐⭐⭐ | ⬜ | 互动叙事理论 |
| 角色设计 | NPC、对话、行为逻辑 | ⭐⭐⭐⭐ | ⬜ | 游戏角色设计 |
实际应用场景:
- VR 游戏 → 环境叙事 + 分支剧情
- 企业培训 → 情景模拟 + 互动选择
关卡设计
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 空间布局 | 区域划分、动线设计、视觉引导 | ⭐⭐⭐⭐⭐ | ⬜ | 游戏关卡设计理论 |
| 难度曲线 | 学习曲线、挑战递进、技能引导 | ⭐⭐⭐⭐⭐ | ⬜ | 《游戏设计艺术》 |
| 探索引导 | 视觉提示、声音引导、空间暗示 | ⭐⭐⭐⭐⭐ | ⬜ | 关卡设计案例研究 |
实际应用场景:
- VR 游戏 → 关卡布局 + 难度递进
- AR 展览 → 参观动线 + 信息层级
内容类型
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 游戏内容 | 玩法设计、系统设计、经济系统 | ⭐⭐⭐⭐ | ⬜ | 游戏设计文档 |
| 培训内容 | 学习目标、情景设计、评估方法 | ⭐⭐⭐⭐⭐ | ⬜ | 教学设计理论 |
| 展览内容 | 空间叙事、展品呈现、互动设计 | ⭐⭐⭐⭐ | ⬜ | 博物馆展陈设计 |
实际应用场景:
- 企业 VR 培训 → 情景设计 + 学习评估
- 博物馆 AR 展览 → 空间叙事 + 互动体验
推荐资源
- 《游戏设计艺术》Jesse Schell
- 《体验引擎:游戏设计全景探秘》
- GDC Vault 关卡设计演讲
14. 跨学科协作
美术、技术、设计、音频、内容------比传统软件开发更复杂的团队协作。
团队角色
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 角色理解 | 美术、技术、设计、音频、内容 | ⭐⭐⭐⭐⭐ | ⬜ | XR 团队结构研究 |
| 跨职能沟通 | 需求翻译、技术约束、设计落地 | ⭐⭐⭐⭐⭐ | ⬜ | 跨职能协作方法论 |
| 迭代流程 | Sprint、评审、反馈闭环 | ⭐⭐⭐⭐⭐ | ⬜ | 敏捷开发实践 |
实际应用场景:
- VR 项目 → 美术建模 → 技术集成 → 设计调优 → 迭代
- AR 产品 → 内容策划 → 开发实现 → 用户测试 → 迭代
协作工具与流程
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 版本控制 | Git LFS、资产版本、场景版本 | ⭐⭐⭐⭐⭐ | ⬜ | Git LFS 文档 |
| 资产流水线 | USD、glTF、跨工具协作 | ⭐⭐⭐⭐⭐ | ⬜ | OpenUSD 工作流 |
| 项目管理 | Jira、Notion、进度跟踪 | ⭐⭐⭐⭐ | ⬜ | 项目管理最佳实践 |
实际应用场景:
- 团队协作 → 美术用 Maya → 导出 USD → 程序在 UE 引用
- 版本管理 → Git LFS 管理大资产 → 多人协作
15. 商业与产品
能做出来 ≠ 能卖出去。行业理解、商业模式、市场洞察。
行业洞察
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 市场格局 | Quest、Vision Pro、PICO 市场份额 | ⭐⭐⭐⭐⭐ | ⬜ | 行业报告、新闻跟踪 |
| 用户群体 | B 端 vs C 端、年龄、地区 | ⭐⭐⭐⭐⭐ | ⬜ | 用户画像研究 |
| 趋势判断 | 技术趋势、应用场景、投资热点 | ⭐⭐⭐⭐ | ⬜ | 行业峰会、投资报告 |
实际应用场景:
- 产品定位 → Quest 主打游戏、Vision Pro 主办办公、PICO 主打企业
- 市场选择 → C 端游戏 vs B 端培训
商业模式
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 收费模式 | 一次性购买、订阅、内购、B 端授权 | ⭐⭐⭐⭐ | ⬜ | 商业模式研究 |
| 成本结构 | 研发成本、运营成本、分成模式 | ⭐⭐⭐⭐ | ⬜ | 成本核算实践 |
| 变现路径 | 应用商店、企业定制、SaaS | ⭐⭐⭐⭐ | ⬜ | 商业案例分析 |
实际应用场景:
- VR 游戏 → 应用商店销售 + DLC
- 企业培训 → B 端定制开发 + SaaS 订阅
产品思维
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 需求洞察 | 用户痛点、场景分析、价值主张 | ⭐⭐⭐⭐⭐ | ⬜ | 《启示录》 |
| MVP 设计 | 核心功能、快速验证、迭代方向 | ⭐⭐⭐⭐⭐ | ⬜ | 精益创业方法论 |
| 数据驱动 | 关键指标、A/B 测试、增长策略 | ⭐⭐⭐⭐ | ⬜ | 增长黑客 |
实际应用场景:
- 产品规划 → 识别用户痛点 → 设计 MVP → 验证迭代
- 增长策略 → 数据分析 → 优化转化 → 规模推广
16. 身体与运动理解
手柄怎么设计不累?手势怎么设计不抽筋?人机工程学、生物力学、运动学。
人机工程学
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 颈部负荷 | 头显重量、重心、佩戴舒适度 | ⭐⭐⭐⭐⭐ | ⬜ | 人机工程学标准 |
| 手臂疲劳 | 手势设计、操作时长、交互频率 | ⭐⭐⭐⭐⭐ | ⬜ | 疲劳研究论文 |
| 视觉舒适 | 屏幕距离、亮度、对比度、焦点 | ⭐⭐⭐⭐⭐ | ⬜ | 视觉人机工程 |
实际应用场景:
- VR 手柄设计 → 重量、重心、握持角度
- AR 眼镜 → 佩戴舒适度、长时间使用
运动设计
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 自然手势 | 常见手势、文化差异、疲劳阈值 | ⭐⭐⭐⭐⭐ | ⬜ | 手势设计研究 |
| 运动范围 | 手臂活动范围、关节限制 | ⭐⭐⭐⭐ | ⬜ | 生物力学基础 |
| 反馈设计 | 视觉、听觉、触觉反馈 | ⭐⭐⭐⭐⭐ | ⬜ | 多模态反馈研究 |
实际应用场景:
- 手势设计 → 避免长时间举手、避免频繁重复
- 反馈设计 → 触觉震动 + 视觉确认 + 声音提示
17. 伦理与安全
隐私(摄像头拍家里)、内容安全、健康影响(眼睛、颈椎、成瘾)。
隐私保护
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 数据采集 | 摄像头、麦克风、位置、手势 | ⭐⭐⭐⭐⭐ | ⬜ | 隐私法规、GDPR |
| 数据处理 | 本地处理 vs 云端、加密、匿名化 | ⭐⭐⭐⭐⭐ | ⬜ | 数据安全最佳实践 |
| 用户知情 | 权限说明、使用透明、用户控制 | ⭐⭐⭐⭐⭐ | ⬜ | 隐私设计模式 |
实际应用场景:
- AR 眼镜 → 摄像头采集环境 → 需要用户明确授权
- VR 设备 → 手势/眼动数据 → 需要隐私保护
内容安全
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 内容审核 | 暴力、色情、仇恨言论 | ⭐⭐⭐⭐⭐ | ⬜ | 内容审核标准 |
| 年龄分级 | 分级制度、家长控制 | ⭐⭐⭐⭐ | ⬜ | ESRB/PEGI 分级 |
| 心理影响 | 恐怖、焦虑、PTSD 触发 | ⭐⭐⭐⭐⭐ | ⬜ | 心理健康研究 |
实际应用场景:
- VR 游戏 → 内容分级、家长控制
- 社交 VR → 骚扰防护、举报机制
健康影响
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 视觉健康 | 近视风险、蓝光、焦点疲劳 | ⭐⭐⭐⭐⭐ | ⬜ | 眼科研究、屏幕护眼 |
| 颈椎健康 | 长期佩戴、姿势影响 | ⭐⭐⭐⭐⭐ | ⬜ | 颈椎健康指南 |
| 运动损伤 | 碰撞、跌倒、空间安全 | ⭐⭐⭐⭐ | ⬜ | VR 安全指南 |
| 成瘾问题 | 使用时长、戒断、依赖 | ⭐⭐⭐⭐ | ⬜ | 行为成瘾研究 |
实际应用场景:
- VR 产品 → 使用时长提醒、休息提示
- MR 应用 → 安全区域提示、碰撞预警
18. 基础能力(底层支撑)
图形学基础
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 渲染管线 | 顶点处理、光栅化、片段着色 | ⭐⭐⭐⭐⭐ | ⬜ | LearnOpenGL (强烈推荐) |
| 着色器编程 | GLSL/HLSL、PBR 实现 | ⭐⭐⭐⭐⭐ | ⬜ | The Book of Shaders |
| 光照模型 | Phong、PBR、IBL | ⭐⭐⭐⭐⭐ | ⬜ | Scratchapixel |
实际应用场景:
- 自定义卡通渲染 → 编写 Toon Shader → 风格化游戏
- 优化 PBR 材质 → IBL 环境光照 → 真实感渲染
线性代数
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| 矩阵变换 | 平移、旋转、缩放、齐次坐标 | ⭐⭐⭐⭐⭐ | ⬜ | 3Blue1Brown 线代视频 |
| 四元数 | 旋转表示、插值、万向锁 | ⭐⭐⭐⭐⭐ | ⬜ | 四元数可视化 |
| 投影 | 透视投影、正交投影 | ⭐⭐⭐⭐ | ⬜ | LearnOpenGL 坐标系统章节 |
实际应用场景:
- 3D 物体旋转 → 用四元数避免万向锁
- 相机跟随 → 平滑插值 → 自然过渡
性能优化
| 能力领域 | 核心技能 | 重要度 | 掌握程度 | 最佳学习路径 |
|---|---|---|---|---|
| LOD | 层级细节、自动生成、切换策略 | ⭐⭐⭐⭐⭐ | ⬜ | Unity/UE 官方 LOD 文档 |
| 遮挡剔除 | 视锥剔除、遮挡查询 | ⭐⭐⭐⭐ | ⬜ | GPU Gems 遮挡剔除章节 |
| DrawCall 优化 | 批处理、GPU Instancing | ⭐⭐⭐⭐⭐ | ⬜ | Unity Graphics Best Practices |
| 内存管理 | 资源卸载、对象池、GC 优化 | ⭐⭐⭐⭐⭐ | ⬜ | Unity Memory Profiler 文档 |
实际应用场景:
- 移动端 VR → 优化渲染 → 保持 72/90 FPS
- 大型场景 → LOD + 遮挡剔除 → 降低 GPU 负载
学习路线建议
第一阶段:打好基础(2-3 个月)
-
图形学基础
- 完成 LearnOpenGL 基础章节
- 理解渲染管线、着色器编程
- 实践:实现一个简单的 PBR 材质
-
线性代数
- 看 3Blue1Brown 视频
- 理解矩阵变换、四元数
- 实践:实现相机跟随和平滑旋转
-
Three.js 入门
- 完成官方教程
- 理解场景、相机、渲染器
- 实践:制作一个 3D 产品展示页
第二阶段:选择引擎(3-4 个月)
Unity 路线:
- 完成 Unity Learn 基础课程
- 学习 XR Interaction Toolkit
- 实践:制作一个 VR 小游戏
Unreal 路线:
- 完成官方 VR 模板教程
- 学习蓝图编程
- 实践:制作一个建筑可视化 Demo
第三阶段:感知与交互(2-3 个月)
-
计算机视觉
- OpenCV 基础教程
- YOLO 目标检测
- 实践:AR 目标检测 Demo
-
手势识别
- MediaPipe Hands 教程
- 实践:VR 手势 UI 交互
第四阶段:3D 内容(2-3 个月)
-
glTF 格式
- 理解 PBR 材质
- 实践:导出/加载 glTF 模型
-
OpenUSD
- 官方教程
- 实践:Unity/UE USD 工作流
-
3D 高斯泼溅
- 运行官方代码
- 实践:扫描一个场景
第五阶段:平台适配(1-2 个月)
-
选择目标平台
- Quest:最广泛的市场
- Vision Pro:高端市场
- PICO:企业市场
-
深入学习 SDK
- 完成平台官方教程
- 实践:部署到真机
推荐学习资源汇总
免费资源
- LearnOpenGL - 图形学圣经
- 3Blue1Brown 线性代数 - 数学可视化
- Unity Learn - Unity 官方免费课程
- OpenUSD 教程 - USD 官方教程
- MediaPipe 文档 - 手势/姿态识别
- The Book of Shaders - 着色器艺术
付费资源(推荐)
- Three.js Journey - Three.js 最佳课程
- Catlike Coding - Unity 进阶教程(免费,质量极高)
实践项目建议
- 入门级:3D 产品展示页(Three.js + glTF)
- 进阶级:VR 密室逃脱游戏(Unity XR)
- 高级:AR 工业巡检 App(ARCore + YOLO)
- 专家级:MR 空间协作平台(Quest + SLAM)
整理者:小O | 2026-03-18