腾讯 Hunyuan3D-2: 高分辨率3D 资产生成

腾讯 Hunyuan3D-2:高分辨率 3D 资产生成的突破

前言

在当今数字化时代,3D 资产生成技术正变得越来越重要。无论是游戏开发、影视制作还是虚拟现实领域,高质量的 3D 模型和纹理都是创造沉浸式体验的关键。然而,传统的 3D 资产制作往往需要大量的时间和专业技能。幸运的是,腾讯的 Hunyuan3D-2 项目为我们带来了新的希望,它通过大规模扩散模型实现了高分辨率 3D 资产的高效生成。

项目简介

Hunyuan3D-2 是腾讯推出的一个先进的大规模 3D 合成系统,旨在生成高分辨率的纹理化 3D 资产。该项目于 2025 年 1 月 21 日发布了推理代码和预训练模型,并通过其官方网站 Hunyuan3D Studio 提供了令人兴奋的 3D 生成体验。

核心架构

Hunyuan3D-2 采用了一个两阶段生成流程,首先创建一个裸网格,然后为该网格合成纹理贴图。这种策略有效地分离了形状和纹理生成的复杂性,并且为生成或手工制作的网格提供了纹理化的灵活性。

形状生成模型:Hunyuan3D-DiT

Hunyuan3D-DiT 是一个基于可扩展的流式扩散变换器的形状生成模型。它的目标是根据给定的条件图像生成合适的几何形状,为下游应用奠定坚实的基础。

纹理合成模型:Hunyuan3D-Paint

Hunyuan3D-Paint 利用强大的几何和扩散先验,为生成或手工制作的网格生成高分辨率且生动的纹理贴图。

性能表现

Hunyuan3D-2 在生成纹理化 3D 资产的质量和条件跟随能力方面超越了现有的开源和闭源 3D 生成方法。以下是其与其他模型的性能对比:

模型 CMMD(⬇) FID_CLIP(⬇) FID(⬇) CLIP-score(⬆)
Top Open-source Model1 3.591 54.639 289.287 0.787
Top Close-source Model1 3.600 55.866 305.922 0.779
Top Close-source Model2 3.368 49.744 294.628 0.806
Top Close-source Model3 3.218 51.574 295.691 0.799
Hunyuan3D 2.0 3.193 49.165 282.429 0.809

使用方法

安装依赖

首先,通过 Pytorch 官方网站安装 Pytorch,然后安装其他依赖项:

复制代码
pip install -r requirements.txt
cd hy3dgen/texgen/custom_rasterizer
python3 setup.py install
cd hy3dgen/texgen/differentiable_renderer
bash compile_mesh_painter.sh

API 使用

Hunyuan3D-2 提供了一个类似 diffusers 的 API,用于使用形状生成模型 Hunyuan3D-DiT 和纹理合成模型 Hunyuan3D-Paint。

形状生成
复制代码
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

生成的网格是一个 trimesh 对象,可以保存为 glb/obj(或其他格式)文件。

纹理合成
复制代码
from hy3dgen.texgen import Hunyuan3DPaintPipeline
from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline

pipeline = Hunyuan3DDiTFlowMatchingPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(image='assets/demo.png')[0]

pipeline = Hunyuan3DPaintPipeline.from_pretrained('tencent/Hunyuan3D-2')
mesh = pipeline(mesh, image='assets/demo.png')

更多高级用法,如文本到 3D 和手工制作网格的纹理生成,请参考 minimal_demo.py。

Gradio 应用

你还可以在自己的计算机上托管 Gradio 应用,或者直接访问

腾讯混元3D 以快速使用。

复制代码
pip3 install gradio==3.39.0
python3 gradio_app.py

开源计划

Hunyuan3D-2 的开源计划包括:

  • 推理代码

  • 模型检查点

  • 技术报告

  • ComfyUI

  • TensorRT 版本

Hunyuan3D-2 为我们提供了一个强大的工具,用于高效生成高分辨率的 3D 资产。它的两阶段生成流程和灵活的 API 设计使其在 3D 资产生成领域具有巨大的潜力。无论你是专业开发者还是业余爱好者,Hunyuan3D-2 都能帮助你轻松实现 3D 创作的梦想。

相关链接:

https://github.com/Tencent/Hunyuan3D-2

相关推荐
xhload3d6 小时前
智慧钢厂高炉冶炼仿真分析 | 图扑数字孪生
3d·智慧城市·html5·webgl·数字孪生·可视化·热力图·智慧工厂·工业互联网·工业组态·高炉炼铁·数字工厂·高炉炉体·智慧高炉·高炉
lrh302515 小时前
Custom SRP 12 - HDR
3d·unity·srp·render pipeline
开发游戏的老王1 天前
虚幻引擎虚拟制片入门教程 之 3D渲染基础知识:模型、材质、贴图、UV等
3d·虚幻·材质·模型·着色器·uv
Kingsdesigner1 天前
从AI画稿到3D虚拟时装:Illustrator与Substance 3D的服装设计工作流
人工智能·3d·illustrator·substance 3d·sampler·stager·数字时尚
程序猿阿伟1 天前
《3D动作游戏受击反馈:从模板化硬直到沉浸式打击感的开发拆解》
前端·网络·3d
Bar_artist1 天前
AI 颠覆室内设计:SpatialGen 实现 “一句话生成 3D 房间”
人工智能·3d
CG_MAGIC1 天前
3D 云渲染:不止于高效,更是创作的革新之力
3d·3dmax·渲云渲染
2501_933360721 天前
覆盖动画 / 工业 / 科研!Rhino 7:专业 3D 建模的全能解决方案,新手也能上手
数学建模·3d
m0_743106461 天前
【VGGT-X】:尝试将VGGT用到3DGS重建中去
人工智能·算法·计算机视觉·3d·几何学
杀生丸学AI1 天前
【三维重建】即插即用的3DGS的PDE优化:高质量渲染和重建
人工智能·3d·大模型·aigc·3dgs·高斯泼溅·空间智能