TRELLIS,一键生成3D模型,图像转3D,微软开源

大家好！今天给大家分享微软最近开源的一个3D模型生成项目------TRELLIS。简单来说就是输入一张图片，它就能自动帮你生成3D模型。这与之前分享的TripoSR项目类似，但是精度和贴图细节比TripoSR要高很多。

好久没关注AI生成3D模型这块，也是在群友的推荐下，我去体验了TRELLIS这个项目并跟TripoSR做了对比。

我选了三张图进行测试，分别是建筑、人物、车辆。上面的是TripoSR的效果，下面的是TRELLIS的效果。

用了一个房子做测试，可以看到TripoSR生成的"乍一看"还行，但是转动一下，完全没办法看！房子直接歪掉了。

TRELLIS的表现很好，保留了房子的整体结构和房檐的细节。

卡通人物，TripoSR生成的人物正面和侧面还可以，但是后面头发部分效果不佳。

TRELLIS不仅在细节上比TripoSR的要丰富(人物身前的饰品的立体度和头发的细节)，贴图颜色上也略胜一筹。

选了个推土机图片，试下来发现貌似TripoSR对侧面的图片生成不佳，如果是正面的图像，生成的整体结构是稳定的，至少不会像下图一样是"斜的"。

TRELLIS的表现还是非常的优秀。

虽然我将模型导入到建模软件中去看，贴图细节的部分还是很粗糙，但是整体的结构至少不会有太"夸张"的错误。

我又让朋友发来几张图生成模型，最后导入到Maya里看了布线结构

除了机械鱿鱼镂空部分的机械机构没能很好生成以外，前两个图片总体生成的还行。但是到了下面这个动漫人物形象上就失败了。

目前TRELLIS对于人型或者是非标准人型姿态的推理还是不太支持。生成的有种"残缺"抽象的美...

值得期待的是，TRELLIS官方在后续会支持文本生成模型这项功能！十分期待了！

Windows本地部署

该部分适用于想要自己部署项目的小伙伴，使用整合包的可以跳过这部分。

由于项目官方是用Linux机器进行开发和测试的，在部署的时候会有很多坑。

这里的安装依赖是引用github上iiiytn1k开发者提供的。

plain 复制代码

git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
cd TRELLIS
conda create -n trellis python=3.10
conda activate trellis 

pip install torch==2.5.1 torchvision --index-url=https://download.pytorch.org/whl/cu124
pip install xformers==0.0.28.post3 --index-url=https://download.pytorch.org/whl/cu124
pip install pillow imageio imageio-ffmpeg tqdm easydict opencv-python-headless scipy ninja rembg onnxruntime trimesh xatlas pyvista pymeshfix igraph transformers
pip install git+https://github.com/EasternJournalist/utils3d.git@9a4eb15e4021b67b12c460c7057d642626897ec8
pip install https://github.com/bdashore3/flash-attention/releases/download/v2.7.1.post1/flash_attn-2.7.1.post1+cu124torch2.5.1cxx11abiFALSE-cp310-cp310-win_amd64.whl
pip install kaolin -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.5.1_cu124.html

git clone https://github.com/NVlabs/nvdiffrast.git ./tmp/extensions/nvdiffrast
pip install ./tmp/extensions/nvdiffrast

git clone --recurse-submodules https://github.com/JeffreyXiang/diffoctreerast.git ./tmp/extensions/diffoctreerast
pip install ./tmp/extensions/diffoctreerast

git clone https://github.com/autonomousvision/mip-splatting.git ./tmp/extensions/mip-splatting
pip install ./tmp/extensions/mip-splatting/submodules/diff-gaussian-rasterization/

cp -r ./extensions/vox2seq ./tmp/extensions/vox2seq
pip install ./tmp/extensions/vox2seq

pip install spconv-cu120
pip install gradio==4.44.1 gradio_litmodel3d==0.0.1

set ATTN_BACKEND=flash-attn
set SPCONV_ALGO=native
python ./app.py

按照上述步骤部署完毕后，还没完！还有坑！

一定要安装MSVC组件和VCbuild-tools。

也有可能会遇到下面这个错误，需要安装VC++ Redis相关组件

raise RuntimeError("Could not locate a supported Microsoft Visual C++ installation")

RuntimeError: Could not locate a supported Microsoft Visual C++ installation

安装后重启即可。

整合包必看！

因为项目需要用到C++相关依赖，在使用TRELLIS整合包之前，还需安装VCbuild-tools

不然在生成的时候会出现这个错误

distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools/