摘要
原生3D生成模型的最新进展加速了游戏、影视和设计领域的资产创建。然而,现有方法主要依赖图像或文本条件输入,缺乏细粒度的跨模态控制,制约了可控性和实际应用。为此,我们基于Hunyuan3D 2.1提出了Hunyuan3D-Omni------一个支持细粒度控制的统一3D资产生成框架。除图像外,该系统可接受点云、体素、边界框和骨骼姿态先验作为条件信号,实现对几何结构、拓扑形态和姿态的精确控制。我们采用单一跨模态架构统一处理所有信号,而非为每种模态设计独立模块。训练过程中采用渐进式难度感知采样策略:每个样本仅选择一种控制模态,并倾向于采样更难处理的信号(如骨骼姿态),同时降低简单信号(如点云)的权重,从而促进鲁棒的多模态融合与缺失输入的优雅处理。实验表明,这些新增控制方式能提升生成精度,实现几何感知变换,并增强生产流程的健壮性。

Hunyuan3D-Omni
混元3D-Omni是一个可控生成3D资产的统一框架,继承了混元3D 2.1的结构。相比之下,混元3D-Omni构建了一个统一控制编码器来引入额外控制信号,包括点云、体素、骨骼和边界框。

多模态条件控制
- 边界框控制:生成受3D边界框约束的3D模型
- 姿态控制:创建具有特定骨骼姿态的3D人体模型
- 点云控制:根据输入点云生成3D模型
- 体素控制:从体素表示生成3D模型
🎁 模型库
生成需要10GB显存。
模型名称 | 描述 | 发布日期 | 大小 | Huggingface链接 |
---|---|---|---|---|
Hunyuan3D-Omni | 图像到形状模型的多模态控制 | 2025-09-25 | 3.3B | Download |
安装
要求
我们的模型在Python 3.10环境下进行了测试。
bash
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124
pip install -r requirements.txt
用法
推理
多模态推理
bash
python inference.py --control_type <control_type> [--use_ema] [--flashvdm]
control_type
参数有以下四种可选模式:
point
:采用点控制模式进行推理。
voxel
:采用体素控制模式进行推理。
bbox
:采用边界框控制模式进行推理。
pose
:采用姿态控制模式进行推理。
--use_ema
参数用于启用指数移动平均(EMA)模型以获取更稳定的推理结果。
--flashvdm
参数用于开启FlashVDM优化以提升推理速度。
请根据需求选择合适的control_type。例如若需使用point
控制模式,可运行:
bash
python inference.py --control_type point
python inference.py --control_type point --use_ema
python inference.py --control_type point --flashvdm
该模型在论文《Hunyuan3D-Omni:可控3D资产生成的统一框架》(https://huggingface.co/papers/2509.21245)中提出。
致谢
我们衷心感谢以下开源项目的贡献者:
TripoSG、Trellis、DINOv2、Stable Diffusion、FLUX、diffusers、HuggingFace、CraftsMan3D、Michelangelo、Hunyuan-DiT、HunyuanVideo、HunyuanWorld-1.0以及HunyuanWorld-Voyager项目组,感谢他们在开放研究和探索方面做出的贡献。