【1211更新】腾讯混元Hunyuan3D-1文/图生3D模型云端镜像一键运行

目录

项目介绍

显存占用

[11月21 新增纹理烘焙模块Dust3R](#11月21 新增纹理烘焙模块Dust3R)

烘焙相关参数:

AutoDL云端镜像

启动说明

标准模型下载


【1212更新】腾讯混元Hunyuan3D-1文图生3D模型云端镜像一键运行

项目介绍

https://github.com/Tencent/Hunyuan3D-1

腾讯混元 3D 生成模型,支持文本和图像条件生成(对于文生3D,支持中/英双语生成)

为了解决现有的3D生成模型在生成速度和泛化能力上存在不足,我们开源了混元3D-1.0模型,可以帮助3D创作者和艺术家自动化生产3D资产。

我们的模型采用两阶段生成方法,在保证质量和可控的基础上,轻量版模型仅需10s即可完成单图生成3D,标准版则大约需要25s。

在第一阶段,我们采用了一种多视角扩散模型,轻量版模型能够在大约4秒内高效生成多视角图像,这些多视角图像从不同的视角捕捉了3D资产的丰富的纹理和几何先验,将任务从单视角重建松弛到多视角重建。

在第二阶段,我们引入了一种前馈重建模型,利用上一阶段生成的多视角图像。该模型能够在大约3秒内快速而准确地重建3D资产。重建模型学习处理多视角扩散引入的噪声和不一致性,并利用条件图像中的可用信息高效恢复3D结构。

最终,该模型可以实现输入任意单视角实现三维生成。

显存占用

  • 标准版模型 需要30GB VRAM (使用 --save_memory需要 24G VRAM ).

  • 轻量版模型 需要 22GB VRAM (使用 --save_memory需要18G VRAM).

  • --save_memory 参数用于减少内存消耗,通过调整算法或数据结构来优化内存使用

--save_memory 参数在某些深度学习框架或库中,如PyTorch,用于在模型训练过程中减少GPU显存的占用。具体来说,这个参数会使得某些模型组件(如网络层)在不需要进行计算时自动移动到CPU内存中,从而节省GPU显存空间。当这些组件再次需要参与计算时,它们会被移回GPU。

这种做法被称为CPU Offloading,它是一种显存节省技术,可以在保持模型性能的同时减少显存的使用,特别适用于显存资源受限的情况。通过将模型的一部分或全部中间变量临时转移到CPU,可以有效地减少GPU显存的占用,同时在需要时再将它们移回GPU以继续计算。这种动态的内存管理策略有助于提高大规模模型训练的效率和可行性。

11月21 新增纹理烘焙模块Dust3R

请注意,这是一个非商业许可证,因此该模块不能用于商业目的。

纹理烘焙是一种在3D建模和渲染中常用的技术,它涉及将模型的材质、光照等信息预先计算并存储为2D纹理,以此来减少实时渲染的计算量,提高渲染效率。这种方法特别适用于将高多边形模型的细节信息转移到低多边形模型上,以保持视觉效果的同时减少性能消耗。

使用Dust3R进行纹理对齐和变形的过程中,Dust3R是一个开源项目,它旨在简化几何3D视觉重建。Dust3R通过一系列操作,包括图像加载、成对处理、预测和全局对齐,来实现3D场景的重建。在纹理烘焙的上下文中,Dust3R可能被用于处理和优化纹理映射,确保在3D模型之间传输纹理数据时,纹理的对齐和变形能够得到有效管理,减少渲染过程中的变形和拉伸问题。

具体来说,Dust3R可以处理图像对,并输出包含3D点信息的预测结果,这些结果可以用于后续的纹理烘焙过程。通过全局对齐器(global_aligner),Dust3R还能够优化预测结果,使得从一个物体投影到另一个几何体上的纹理信息保持准确性。这样,纹理烘焙模块可以利用Dust3R提供的精确3D信息,来实现更好的纹理对齐和变形效果。

烘焙相关参数:

|--------------------|-------|---------------------------------------------------------------------------------------------------------------------------------|
| 参数 | 默认值 | 描述 |
| --do_bake | FALSE | 这个参数是一个布尔值,用于指示是否执行烘焙操作。当设置为True时,程序将执行将多视图图像烘焙到网格(mesh)上的操作。烘焙过程中,图像的细节和特征会被捕捉并存储在纹理中,这样可以在渲染时减少计算量,提高效率。如果设置为False,则不会执行烘焙操作。 |
| --bake_align_times | 3 | 这个参数指定了图像与网格之间对齐的次数。在烘焙过程中,为了确保图像与网格的准确对应,可能需要多次执行对齐操作。这个参数控制了对齐操作的重复次数,以确保图像和网格之间的映射尽可能精确。数值越大,意味着更高的对齐精度,但同时也可能增加计算成本。 |

注意:如果需要烘焙,请确保--do_bake设置为True并且--do_texture_mapping也设置为True

AutoDL云端镜像

https://www.codewithgpu.com/i/Tencent/Hunyuan3D-1/Hunyuan3D-1.0

镜像大小:25.25GB 第一次拉取镜像较慢,请耐心等候,22分钟左右,

启动成功应该会收到短信通知!

启动说明

  • AutoDL创建实例启动后,点击运行即可

  • 默认端口1080

  • 本地使用「AutoDL-SSH-Tools」转发端口1080

链接:https://pan.quark.cn/s/ee8bef31034c

标准模型下载

注:由于AutoDL系统盘只有30G,只下载了lite模型(4090单显卡可运行)

如需使用标准模型(4090需双卡)可将项目移动到数据盘autodl-tmp下 手动下载

复制代码
复制代码
mv /root/Hunyuan3D-1 /root/autodl-tmp/Hunyuan3D-1

cd /root/autodl-tmp/Hunyuan3D-1

huggingface-cli download tencent/Hunyuan3D-1 --local-dir weights
相关推荐
daifgFuture1 天前
Android 3D球形水平圆形旋转,旋转动态更换图片
android·3d
牧子川1 天前
【论文解读】CVPR2023 PoseFormerV2:3D人体姿态估计(附论文地址)
3d·cvpr2023·poseformerv2
资深设备全生命周期管理1 天前
优化版本,增加3D 视觉 查看前面的记录
3d
m0_748250741 天前
GPUCUDA 发展编年史:从 3D 渲染到 AI 大模型时代(上)
人工智能·3d
少林6592 天前
谷歌地图高清卫星地图2026中文版下载|谷歌地图3D卫星高清版 V7.3.6.9796 最新免费版下载 - 前端工具导航
3d·谷歌地图
LeonDL1682 天前
HALCON 深度学习训练 3D 图像的几种方式优缺点
人工智能·python·深度学习·3d·halcon·halcon训练3d图像·深度学习训练3d图像
xhload3d3 天前
图扑软件 | 带你体验 Low Poly 卡通三维世界
物联网·3d·智慧城市·html5·webgl·数字孪生·可视化·工业互联网·三维建模·工控·轻量化·中国风·卡通动画·写实风格·科技风·low poly
图扑数字孪生3 天前
基于 HT for Web 轻量化 3D 数字孪生数据中心解决方案
3d·数字孪生·三维可视化·数据中心·智慧机房
njsgcs3 天前
PolyGen:一个用于 3D 网格的自回归生成模型 论文阅读
3d
Angel Q.3 天前
PnP(Perspective-n-Point)算法 | 用于求解已知n个3D点及其对应2D投影点的相机位姿
数码相机·算法·3d·pnp