Hunyuan3D-Omni:可控3D资产生成的统一框架

摘要

原生3D生成模型的最新进展加速了游戏、影视和设计领域的资产创建。然而,现有方法主要依赖图像或文本条件输入,缺乏细粒度的跨模态控制,制约了可控性和实际应用。为此,我们基于Hunyuan3D 2.1提出了Hunyuan3D-Omni------一个支持细粒度控制的统一3D资产生成框架。除图像外,该系统可接受点云、体素、边界框和骨骼姿态先验作为条件信号,实现对几何结构、拓扑形态和姿态的精确控制。我们采用单一跨模态架构统一处理所有信号,而非为每种模态设计独立模块。训练过程中采用渐进式难度感知采样策略:每个样本仅选择一种控制模态,并倾向于采样更难处理的信号(如骨骼姿态),同时降低简单信号(如点云)的权重,从而促进鲁棒的多模态融合与缺失输入的优雅处理。实验表明,这些新增控制方式能提升生成精度,实现几何感知变换,并增强生产流程的健壮性。

Hunyuan3D-Omni

混元3D-Omni是一个可控生成3D资产的统一框架,继承了混元3D 2.1的结构。相比之下,混元3D-Omni构建了一个统一控制编码器来引入额外控制信号,包括点云、体素、骨骼和边界框。

多模态条件控制

  • 边界框控制:生成受3D边界框约束的3D模型
  • 姿态控制:创建具有特定骨骼姿态的3D人体模型
  • 点云控制:根据输入点云生成3D模型
  • 体素控制:从体素表示生成3D模型

🎁 模型库

生成需要10GB显存。

模型名称 描述 发布日期 大小 Huggingface链接
Hunyuan3D-Omni 图像到形状模型的多模态控制 2025-09-25 3.3B Download

安装

要求

我们的模型在Python 3.10环境下进行了测试。

bash 复制代码
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124
pip install -r requirements.txt

用法

推理

多模态推理
bash 复制代码
python inference.py --control_type <control_type> [--use_ema] [--flashvdm]

control_type 参数有以下四种可选模式:

point:采用点控制模式进行推理。
voxel:采用体素控制模式进行推理。
bbox:采用边界框控制模式进行推理。
pose:采用姿态控制模式进行推理。

--use_ema 参数用于启用指数移动平均(EMA)模型以获取更稳定的推理结果。

--flashvdm 参数用于开启FlashVDM优化以提升推理速度。

请根据需求选择合适的control_type。例如若需使用point控制模式,可运行:

bash 复制代码
python inference.py --control_type point 
python inference.py --control_type point --use_ema
python inference.py --control_type point --flashvdm

该模型在论文《Hunyuan3D-Omni:可控3D资产生成的统一框架》(https://huggingface.co/papers/2509.21245)中提出。

致谢

我们衷心感谢以下开源项目的贡献者:
TripoSGTrellisDINOv2Stable DiffusionFLUXdiffusersHuggingFaceCraftsMan3DMichelangeloHunyuan-DiTHunyuanVideoHunyuanWorld-1.0以及HunyuanWorld-Voyager项目组,感谢他们在开放研究和探索方面做出的贡献。

相关推荐
春末的南方城市3 小时前
上交提出单图生成3D场景方法SceneGen:单图输入,多资源输出,3D 合成性能飙升的“秘密武器”!
人工智能·计算机视觉
葡萄城技术团队3 小时前
Wyn 商业智能软件:3D 可视化大屏搭建与工具使用全指南
3d·数据分析
下一个绝世3 小时前
免费客户管理系统推荐:适合不同行业的解决方案
大数据·人工智能
西猫雷婶3 小时前
pytorch基本运算-torch.normal()函数输出多维数据时,如何绘制正态分布函数图
人工智能·pytorch·python·深度学习·神经网络·机器学习·线性回归
天涯路s4 小时前
OpenCV 基本模块
人工智能·opencv·计算机视觉
励志成为糕手4 小时前
EfficientNet模型:高效卷积神经网络的革命性突破
人工智能·神经网络·cnn·模型优化·mbconv
maray4 小时前
论 AI Database
数据库·人工智能
ajassi20004 小时前
开源 C# 快速开发(十五)进程--windows消息
windows·开源·c#
ajassi20005 小时前
开源 C# 快速开发(十三)进程--管道通讯
开发语言·开源·c#