一、应用介绍
- 单图转3D网格:输入一张角色图,能输出基本成型的3D Mesh,还自带UV展开和贴图输出,可直接导入到Blender等软件中使用。
- 多视角图像生成:可以基于算法生成围绕3D模型的多视角图像,用于3D模型展示动画制作、3D重建任务的多视角训练数据生成等。
- 纹理生成与处理:支持从给定的图像或模型生成纹理贴图,也能对已有的纹理进行优化和调整等操作。
- 3D模型优化:提供如网格清理、坐标轴转换等功能,可删除无用顶点、自动重建拓扑、轻量化处理模型,还能方便地进行不同坐标系之间的转换。
- 高斯渲染:利用高斯斑点算法进行渲染,生成带有模糊效果的多视角图像,模拟真实光线散射,可用于模拟真实光照条件下的3D场景或为模糊视觉任务生成训练数据。
二、与传统方法对比
对比项目 | 传统3D制作方法 | ComfyUI-3D-Pack |
---|---|---|
制作流程 | 通常需在多个专业软件间切换,如建模在3ds Max或Maya中,纹理绘制在Substance Painter等软件,流程复杂 | 在ComfyUI一个平台内,通过节点连接完成大部分操作,流程简洁直观 |
技术门槛 | 需要掌握多个软件的操作技巧和3D知识体系,学习成本高 | 以节点化操作和可视化界面为主,降低了对复杂软件操作和3D理论的要求 |
单图转3D | 单张图片难以直接生成可用的3D模型,可能需手动建模 | 可直接将单张图片转换为带有UV和纹理的3D网格模型 |
多视角成像 | 生成多视角图像需设置复杂的相机参数和渲染参数,手动调整工作量大 | 可通过特定节点自动生成环绕模型的多视角图像序列,参数设置简单 |
模型优化 | 修复和优化模型需使用专门的修复工具,操作相对繁琐 | 有专门的节点进行网格清理、坐标轴转换等,操作便捷且支持批处理 |
三、插件下载地址和安装方法
- 下载地址:https://github.com/MrForExample/ComfyUI-3D-Pack
- 安装方法(以Windows系统为例)
- 打开命令提示符,进入想要安装的目录。
- 执行命令
git clone https://github.com/MrForExample/ComfyUI-3D-Pack
下载插件。 - 进入下载后的ComfyUI-3D-Pack目录。
- 如果是便携包安装,执行
..\..\..\python_embeded\python.exe install.py
和custom_nodes\ComfyUI-3D-Pack>..\..\..\python_embeded\python.exe -m pip install -r requirements.txt
四、需要的模型及下载地址
- TripoSR:https://huggingface.co/stabilityai/TripoSR
- 3DTopia/LGM:https://huggingface.co/3DTopia/LGM
- VAST-AI-Research/TriplaneGaussian:https://huggingface.co/VAST-AI-Research/TriplaneGaussian
五、插件包含的节点名称
部分节点如下:
Preview_3DGS
Preview_3DMesh
Load_3D_Mesh
Load_3DGS
Fast_Clean_Mesh
Switch_3DGS_Axis
Switch_Mesh_Axis
Convert_3DGS_To_Pointcloud
Convert_Mesh_To_Pointcloud
Stack_Orbit_Camera_Poses
Get_Camposes_From_List_Indexed
Mesh_Orbit_Renderer
Gaussian_Splatting_Orbit_Renderer
Gaussian_Splatting_3D
Fitting_Mesh_With_Multiview_Images
六、关键插件参数用途和推荐值
- Stack_Orbit_Camera_Poses节点
- 环绕半径:控制相机环绕目标的距离,值越大,相机离目标越远,视角越广。推荐值根据模型大小和想要的效果而定,一般在1-5之间。
- 角度范围:决定相机环绕的角度区间,如0-360表示完整环绕一圈。根据需要展示的视角范围设置,若只需要展示180度范围,可设置为0-180。
- 步长:影响生成的相机位姿数量,步长越小,位姿越多,生成的多视角图像越密集。推荐值为5-10。
- Gaussian_Splatting_Orbit_Renderer节点
- 高斯分布强度:控制高斯模糊效果的明显程度,值越大,模糊效果越强烈。推荐值在0.5-2之间。
- 高斯分布范围:决定高斯斑点的覆盖范围,范围越大,渲染的效果越柔和。推荐值根据模型大小和场景需求设置,一般在10-50之间。
七、模型工作流参考案例
三平面高斯变换器:VAST-AI-Research/TriplaneGaussian
VAST-AI-Research
TripoSR:VAST-AI-Research/TripoSR | ComfyUI-Flowty-TripoSR
TripoSR
大型多视图高斯模型:3DTopia/LGM
3DTopia
八、总结
ComfyUI-3D-Pack是一款功能强大的ComfyUI插件,为用户提供了从2D图像到3D内容创作的便捷途径,涵盖了从模型生成、优化到多视角成像和高斯渲染等一系列功能。相比传统3D制作方法,大大降低了技术门槛和制作成本,提高了创作效率。无论是想快速生成3D模型概念草模的设计师,还是为3D重建任务准备数据的研究人员,亦或是制作3D展示动画的视频创作者,都能从该插件中获得价值。通过简单的节点连接和参数调整,即可实现复杂的3D创作任务,是ComfyUI用户进行3D内容创作的得力工具。