DreamCar运行笔记

文章标题:DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

DreamCar,能够在给定少量图像甚至单张图像的情况下重建高质量的3D汽车。为了使生成模型更具泛化性,我们收集了一个名为Car360的汽车数据集,包含超过5600辆汽车。利用这个数据集,我们使生成模型对汽车更加鲁棒。我们使用特定于汽车的生成先验,通过分数蒸馏采样来引导重建。为了进一步补充监督信息,我们利用汽车的几何和外观对称性。

1. 环境配置

1.1. 下载代码

bash 复制代码
git clone https://github.com/xiaobiaodu/DreamCar.git

1.2. 创建环境

复制代码
conda create -n DreamCar python=3.9

1.3. 安装pytorch

bash 复制代码
sudo apt-get install libjpeg-dev libpng-dev
bash 复制代码
conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=12.1 -c pytorch -c nvidia

1.4. 安装官方依赖

bash 复制代码
pip install -r requirememnts.txt

1.5. 安装其它依赖

bash 复制代码
pip install rembg envlight nvdiffrast mediapipe clip nerfacc
bash 复制代码
git clone https://github.com/NVlabs/tiny-cuda-nn.git

cd bindings/torch

pip install .
bash 复制代码
git clone https://github.com/NVlabs/nvdiffrast

cd nvdiffrast

pip install .

2. 下载预训练模型

2.1. Dreamcar123

2.2. Omnidata

3. 运行

3.1. 变量定义

bash 复制代码
export image_path="example_data/94b33ce331b844dcb991a2020742cebf"
export id=$(basename "$image_path")
export CUDA_VISIBLE_DEVICES=0

3.2. 预处理数据

bash 复制代码
python preprocess_image.py  "$image_path"

3.3. NeRF

bash 复制代码
python launch.py --train --config configs/dreamcar-coarse-nerf-nuscenes.yaml data.image_path="$image_path" data.random_camera.height=64 data.random_camera.width=64 data.height=64 data.width=64 system.guidance_3d.pretrained_model_name_or_path="load/zero123/dreamcar123.ckpt"   

4. 问题记录

4.1. timm文件下载失败

4.2. Hugging Face文件下载失败

参考文献

https://github.com/xiaobiaodu/DreamCar?tab=readme-ov-file

相关推荐
我的golang之路果然有问题24 分钟前
快速了解Go+微服务(概念和一个例子)
开发语言·笔记·后端·学习·微服务·golang
_Jyuan_1 小时前
Android Studio-相对布局(私人笔记)
android·java·ide·经验分享·笔记·android studio
mailangduoduo1 小时前
基于UNet算法的农业遥感图像语义分割——补充版
人工智能·深度学习·机器学习·计算机视觉·语义分割
Jamence1 小时前
多模态大语言模型arxiv论文略读(五十一)
深度学习·计算机视觉·语言模型
hunteritself1 小时前
OpenAI 上新:轻量版 Deep Research、GPT-4o 升级、o3 限额翻倍、生图 API 发布!| AI Weekly 4.21-4.27
前端·人工智能·科技·深度学习·chatgpt
老艾的AI世界2 小时前
最强AI数字人,口型、表情、动作全同步!Kairos下载介绍
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai·数字人·虚拟数字人·ai虚拟数字人
CodeWithMe2 小时前
【C/C++】线程池_学习笔记
笔记·学习
尼罗河女娲2 小时前
【Token系列】14|Prompt不是文本,是token结构工程
人工智能·深度学习·机器学习·语言模型·自然语言处理
计算机徐师兄2 小时前
基于Python Flask的深度学习电影评论情感分析可视化系统(2.0升级版,附源码)
python·深度学习·flask·电影评论情感分析·电影评论情感分析可视化系统·python电影评论情感分析·python电影情感分析系统
爱学习的capoo3 小时前
在TensorFlow中,`Dense`和`Activation`是深度学习模型构建里常用的层
人工智能·深度学习·tensorflow