Hunyuan3D-Omni:可控3D资产生成的统一框架

摘要

原生3D生成模型的最新进展加速了游戏、影视和设计领域的资产创建。然而,现有方法主要依赖图像或文本条件输入,缺乏细粒度的跨模态控制,制约了可控性和实际应用。为此,我们基于Hunyuan3D 2.1提出了Hunyuan3D-Omni------一个支持细粒度控制的统一3D资产生成框架。除图像外,该系统可接受点云、体素、边界框和骨骼姿态先验作为条件信号,实现对几何结构、拓扑形态和姿态的精确控制。我们采用单一跨模态架构统一处理所有信号,而非为每种模态设计独立模块。训练过程中采用渐进式难度感知采样策略:每个样本仅选择一种控制模态,并倾向于采样更难处理的信号(如骨骼姿态),同时降低简单信号(如点云)的权重,从而促进鲁棒的多模态融合与缺失输入的优雅处理。实验表明,这些新增控制方式能提升生成精度,实现几何感知变换,并增强生产流程的健壮性。

Hunyuan3D-Omni

混元3D-Omni是一个可控生成3D资产的统一框架,继承了混元3D 2.1的结构。相比之下,混元3D-Omni构建了一个统一控制编码器来引入额外控制信号,包括点云、体素、骨骼和边界框。

多模态条件控制

  • 边界框控制:生成受3D边界框约束的3D模型
  • 姿态控制:创建具有特定骨骼姿态的3D人体模型
  • 点云控制:根据输入点云生成3D模型
  • 体素控制:从体素表示生成3D模型

🎁 模型库

生成需要10GB显存。

模型名称 描述 发布日期 大小 Huggingface链接
Hunyuan3D-Omni 图像到形状模型的多模态控制 2025-09-25 3.3B Download

安装

要求

我们的模型在Python 3.10环境下进行了测试。

bash 复制代码
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124
pip install -r requirements.txt

用法

推理

多模态推理
bash 复制代码
python inference.py --control_type <control_type> [--use_ema] [--flashvdm]

control_type 参数有以下四种可选模式:

point:采用点控制模式进行推理。
voxel:采用体素控制模式进行推理。
bbox:采用边界框控制模式进行推理。
pose:采用姿态控制模式进行推理。

--use_ema 参数用于启用指数移动平均(EMA)模型以获取更稳定的推理结果。

--flashvdm 参数用于开启FlashVDM优化以提升推理速度。

请根据需求选择合适的control_type。例如若需使用point控制模式,可运行:

bash 复制代码
python inference.py --control_type point 
python inference.py --control_type point --use_ema
python inference.py --control_type point --flashvdm

该模型在论文《Hunyuan3D-Omni:可控3D资产生成的统一框架》(https://huggingface.co/papers/2509.21245)中提出。

致谢

我们衷心感谢以下开源项目的贡献者:
TripoSGTrellisDINOv2Stable DiffusionFLUXdiffusersHuggingFaceCraftsMan3DMichelangeloHunyuan-DiTHunyuanVideoHunyuanWorld-1.0以及HunyuanWorld-Voyager项目组,感谢他们在开放研究和探索方面做出的贡献。

相关推荐
2401_836900333 小时前
YOLOv5:目标检测的实用派王者
人工智能·计算机视觉·目标跟踪·yolov5
没有梦想的咸鱼185-1037-16633 小时前
AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
人工智能·python·深度学习·机器学习·chatgpt·数据分析
在云上(oncloudai)3 小时前
AWS Data Exchange:概述、功能与安全性
人工智能·云计算·aws
周杰伦_Jay3 小时前
【MCP开发部署流程表格分析】MCP架构解析、开发流程、部署方案、安全性分析
人工智能·深度学习·opencv·机器学习·架构·transformer
武子康3 小时前
AI研究-109-具身智能 机器人模型验证SOP流程详解|仿真 现实 回放 模板&理论
人工智能·机器人·强化学习·ros2·具身智能·仿真测试·a/b测试
春日见3 小时前
统一机器人描述格式---URDF
人工智能
魔猴疯猿3 小时前
无人机地面站中不同的飞行模式具体含义释义(开源飞控常用的5种模式)
开源·无人机·mavlink·飞行模式
晚霞apple3 小时前
多模态大模型的前沿算法综述
论文阅读·人工智能·深度学习·神经网络·机器学习