【3DV 进阶-7】Hunyuan3D2.1-ShapeVAE 整体流程

bash 复制代码
┌─────────────────────────────────────────────────────────────┐
│                    训练数据准备阶段                            │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  原始 Mesh (OBJ/PLY/GLB)              │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  Watertight Mesh (水密网格)            │
        └───────────────────────────────────────┘
                            │
                ┌───────────┴───────────┐
                ▼                       ▼
    ┌──────────────────┐      ┌──────────────────┐
    │  surface.npz     │      │   sdf.npz        │
    │                  │      │                  │
    │ • random_surface │      │ • vol_points     │
    │ • sharp_surface  │      │ • vol_label      │
    │   (坐标+法向量)    │      │ • random_near_*  │
    │                  │      │ • sharp_near_*   │
    └──────────────────┘      └──────────────────┘
┌─────────────────────────────────────────────────────────────┐
│                    训练时数据加载                            │
└─────────────────────────────────────────────────────────────┘
                            │
                ┌───────────┴───────────┐
                ▼                       ▼
    ┌──────────────────┐      ┌──────────────────┐
    │  Surface Loader  │      │  SDF Loader      │
    │                  │      │                  │
    │ • 采样到pc_size   │      │ • 加载查询点       │
    │ • 组合成tensor    │      │ • 加载SDF标签     │
    └──────────────────┘      └──────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  Input: surface [B, N, 6]            │
        │  • B: batch size                      │
        │  • N: num_points (pc_size +           │
        │        pc_sharpedge_size)             │
        │  • 6: [x,y,z, nx,ny,nz]              │
        └───────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────┐
│                    编码器 (Encoder)                         │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  1. 分离坐标和法向量                  │
        │     pc [B,N,3], feats [B,N,3]        │
        └──────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  2. FPS采样查询点                     │
        │     Q [B, M', 3]                      │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  3. Fourier位置编码                    │
        │     X_p [B,N,d], X_q [B,M',d]         │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  4. Cross-Attention + Self-Attention  │
        │     H_s [B, M', d]                    │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  5. 预测潜在分布 + 采样                │
        │     Z_s [B, M', d0]                   │
        └───────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────┐
│                    解码器 (Decoder)                          │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  1. 投影到transformer维度              │
        │     [B, M', d]                       │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  2. Transformer自注意力层               │
        │     refined_latents [B, M', d]        │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  3. 生成3D查询网格                     │
        │     Q_g [H×W×D, 3]                   │
        └──────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  4. Cross-Attention解码                │
        │     F_g [H×W×D, d]                    │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  5. SDF预测                           │
        │     F_sdf [B, H, W, D, 1]            │
        └───────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────┐
│                    损失计算 (Loss)                          │
└─────────────────────────────────────────────────────────────┘
                            │
                ┌───────────┴───────────┐
                ▼                       ▼
    ┌──────────────────┐      ┌──────────────────┐
    │  重建损失        │       │  KL散度损失      │
    │  (MSE)           │      │  (KL Divergence) │
    │                  │      │                  │
    │ 预测SDF vs       │      │  后验 vs 先验    │
    │ 真实SDF          │      │  分布            │
    └──────────────────┘      └──────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  总损失: L_r = MSE + γ·L_KL           │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  反向传播 + 参数更新                     │
        └───────────────────────────────────────┘
相关推荐
Martina_03211 小时前
AI生成的3D白模单帧没问题,镜头一移动就被挡?用6步检查遮挡与构图
图像处理·人工智能·数学建模·3d·ai·自然语言处理·游戏策划
时间的情敌2 天前
Cesium 建筑单体化、3DTiles 分类、楼层显隐、分户高亮(BIM + 倾斜孪生高频)
前端·3d·cesium
加搜科技观察3 天前
哪个品牌 3D 相机好用?工业 3D 相机品牌选型评估指南
数码相机·3d
Martina_03215 天前
AI生成3D场景的霓虹灯一开就糊成光团?用6步检查Emissive、Bloom与曝光
人工智能·3d·ai·自然语言处理·游戏引擎·材质·贴图
Martina_03215 天前
AI生成3D场景从白模换成精模后镜头全偏了?用6步检查单位、枢轴与层级替换
图像处理·人工智能·3d·ai·自然语言处理·材质·1024程序员节
时间的情敌6 天前
Cesium 加载 3D Tiles 倾斜摄影、压平、样式设置(Vue3 实战)
vue.js·3d·cesium
AGI_Eval8 天前
AI 3D生成技术:从“可用”走向“可靠”还有多远?
人工智能·3d
翌日阳9 天前
二十分之一的压缩比:Spatial Vivid 1.0 把 3DGS 全链路参考实现按 MIT 开源了
3d·开源
Dream-Y.ocean10 天前
鸿蒙PC平台宅匠 3D 室内设计适配实战:基于 Electron 壳方案的 Three.js 双渲染引擎与参数化户型编辑器开发
javascript·3d·harmonyos
硕迪科技SOLIDWORKS10 天前
SOLIDWORKS Electrical 2027:从线束定义到2D–3D更改分析
3d·solidworks 202