【3DV 进阶-7】Hunyuan3D2.1-ShapeVAE 整体流程

bash 复制代码
┌─────────────────────────────────────────────────────────────┐
│                    训练数据准备阶段                            │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  原始 Mesh (OBJ/PLY/GLB)              │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  Watertight Mesh (水密网格)            │
        └───────────────────────────────────────┘
                            │
                ┌───────────┴───────────┐
                ▼                       ▼
    ┌──────────────────┐      ┌──────────────────┐
    │  surface.npz     │      │   sdf.npz        │
    │                  │      │                  │
    │ • random_surface │      │ • vol_points     │
    │ • sharp_surface  │      │ • vol_label      │
    │   (坐标+法向量)    │      │ • random_near_*  │
    │                  │      │ • sharp_near_*   │
    └──────────────────┘      └──────────────────┘
┌─────────────────────────────────────────────────────────────┐
│                    训练时数据加载                            │
└─────────────────────────────────────────────────────────────┘
                            │
                ┌───────────┴───────────┐
                ▼                       ▼
    ┌──────────────────┐      ┌──────────────────┐
    │  Surface Loader  │      │  SDF Loader      │
    │                  │      │                  │
    │ • 采样到pc_size   │      │ • 加载查询点       │
    │ • 组合成tensor    │      │ • 加载SDF标签     │
    └──────────────────┘      └──────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  Input: surface [B, N, 6]            │
        │  • B: batch size                      │
        │  • N: num_points (pc_size +           │
        │        pc_sharpedge_size)             │
        │  • 6: [x,y,z, nx,ny,nz]              │
        └───────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────┐
│                    编码器 (Encoder)                         │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  1. 分离坐标和法向量                  │
        │     pc [B,N,3], feats [B,N,3]        │
        └──────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  2. FPS采样查询点                     │
        │     Q [B, M', 3]                      │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  3. Fourier位置编码                    │
        │     X_p [B,N,d], X_q [B,M',d]         │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  4. Cross-Attention + Self-Attention  │
        │     H_s [B, M', d]                    │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  5. 预测潜在分布 + 采样                │
        │     Z_s [B, M', d0]                   │
        └───────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────┐
│                    解码器 (Decoder)                          │
└─────────────────────────────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  1. 投影到transformer维度              │
        │     [B, M', d]                       │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  2. Transformer自注意力层               │
        │     refined_latents [B, M', d]        │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  3. 生成3D查询网格                     │
        │     Q_g [H×W×D, 3]                   │
        └──────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  4. Cross-Attention解码                │
        │     F_g [H×W×D, d]                    │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  5. SDF预测                           │
        │     F_sdf [B, H, W, D, 1]            │
        └───────────────────────────────────────┘

┌─────────────────────────────────────────────────────────────┐
│                    损失计算 (Loss)                          │
└─────────────────────────────────────────────────────────────┘
                            │
                ┌───────────┴───────────┐
                ▼                       ▼
    ┌──────────────────┐      ┌──────────────────┐
    │  重建损失        │       │  KL散度损失      │
    │  (MSE)           │      │  (KL Divergence) │
    │                  │      │                  │
    │ 预测SDF vs       │      │  后验 vs 先验    │
    │ 真实SDF          │      │  分布            │
    └──────────────────┘      └──────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  总损失: L_r = MSE + γ·L_KL           │
        └───────────────────────────────────────┘
                            │
                            ▼
        ┌───────────────────────────────────────┐
        │  反向传播 + 参数更新                     │
        └───────────────────────────────────────┘
相关推荐
2601_956414141 小时前
AI3D模型生成工具怎么比较?看生成质量、后续流程和导出能力
人工智能·3d
私人珍藏库4 小时前
[Android] VOKA -人体解剖3D图谱+医学人体解剖
3d·智能手机·app·工具·软件·多功能
2601_956414141 天前
AI3D模型生成工具怎么比较?2026主流平台对比与实测维度解析
人工智能·3d
蓝速科技1 天前
蓝速科技视觉 3D 全息仓 AI 数字人一体机深度评测
人工智能·科技·3d
chaoyuanl2 天前
现有游乐设施 XR 数字化升级改造方案
大数据·科技·3d·xr·娱乐
3D小将2 天前
3D格式转换之3MF模型转GLB通用技术
3d·solidworks模型·ug模型·rhino模型·catia模型
韭菜钟2 天前
利用OpenCV进行3d相机手眼标定(眼在手上/眼在手外)
opencv·3d
数智工坊2 天前
视图集合化+轻量Transformer:VSFormer开启多视图3D形状理解新范式
深度学习·3d·transformer
digitalpath2 天前
AutoCAD Plant3D免费版下载安装教程(附安装包)AutoCAD Plant3D 2026 保姆级安装教程
其他·3d
具身新纪元2 天前
ICML 2026|工业3D质检迎来新SOTA:零样本缺陷检测开始拼“多模态硬融合”
3d