图生3d 图生全景 学习笔记

目录

instantsplat

Aluciddreamer

ZoeDepth

会自动下载模型:

图生全景图SD-T2I-360PanoImage:



instantsplat

Sparse-view SfM-free Gaussian Splatting in Seconds

稀疏视图无SfM高斯喷洒

GitHub - NVlabs/InstantSplat: InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds

Aluciddreamer

GitHub - luciddreamer-cvlab/LucidDreamer: Official code for the paper "LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes".

解析器添加参数('--campath_gen','-cg'),类型为字符串,默认值为'rotate360',可选值为 ['lookdown','lookaround','rotate360'],帮助信息为 "用于场景生成的相机外参轨迹"。

解析器添加参数('--campath_render','-cr'),类型为字符串,默认值为'back_and_forth',可选值为 ['back_and_forth','llff','headbanging'],帮助信息为 "用于视频渲染的相机外参轨迹"。

ZoeDepth

引用地址:

GitHub - isl-org/ZoeDepth: Metric depth estimation from a single image

演示地址:

https://huggingface.co/spaces/shariqfarooq/ZoeDepth

模型下载地址:

Releases · isl-org/ZoeDepth · GitHub

会自动下载模型:

python 复制代码
self.d_model = torch.hub.load('./ZoeDepth', 'ZoeD_N', source='local', pretrained=True).to('cuda')

下载路径:

/mnt/pfs/models/torch/hub/intel-isl_MiDaS_master Using cache found in

/mnt/pfs/models/torch/hub/checkpoints

图生全景图SD-T2I-360PanoImage:

pip install numpy==1.23.2

python 复制代码
import sys
import os
os.chdir(os.path.dirname(os.path.abspath(__file__)))
 
import torch
 
current_dir = os.path.dirname(os.path.abspath(__file__))
 
paths = [os.path.abspath(__file__).split('scripts')[0]]
print('current_dir',current_dir)
paths.append(os.path.abspath(os.path.join(current_dir, 'src')))
 
for path in paths:
    sys.path.insert(0, path)
    os.environ['PYTHONPATH'] = (os.environ.get('PYTHONPATH', '') + ':' + path).strip(':')
    
import torch
from diffusers.utils import load_image
from img2panoimg import Image2360PanoramaImagePipeline

image = load_image("./data/i2p-image.jpg").resize((512, 512))
mask = load_image("./data/i2p-mask.jpg")

prompt = 'The office room'

# for <16GB gpu
input = {'prompt': prompt, 'image': image, 'mask': mask, 'upscale': False}

# for >16GB gpu (24GB at least)
# the similarity with the input image is poor because of the super-resolution steps. It should be improved.
# input = {'prompt': prompt, 'image': image, 'mask': mask, 'upscale': True}

model_id = 'models'
img2panoimg = Image2360PanoramaImagePipeline(model_id, torch_dtype=torch.float16)
output = img2panoimg(input)
output.save('result.png')
相关推荐
格林威9 分钟前
常规线扫描镜头有哪些类型?能做什么?
人工智能·深度学习·数码相机·算法·计算机视觉·视觉检测·工业镜头
lyx331369675917 分钟前
#深度学习基础:神经网络基础与PyTorch
pytorch·深度学习·神经网络·参数初始化
B站计算机毕业设计之家1 小时前
智慧交通项目:Python+YOLOv8 实时交通标志系统 深度学习实战(TT100K+PySide6 源码+文档)✅
人工智能·python·深度学习·yolo·计算机视觉·智慧交通·交通标志
relis5 小时前
llama.cpp Flash Attention 论文与实现深度对比分析
人工智能·深度学习
盼小辉丶5 小时前
Transformer实战(21)——文本表示(Text Representation)
人工智能·深度学习·自然语言处理·transformer
艾醒(AiXing-w)5 小时前
大模型面试题剖析:模型微调中冷启动与热启动的概念、阶段与实例解析
人工智能·深度学习·算法·语言模型·自然语言处理
无风听海5 小时前
神经网络之交叉熵与 Softmax 的梯度计算
人工智能·深度学习·神经网络
java1234_小锋5 小时前
TensorFlow2 Python深度学习 - TensorFlow2框架入门 - 神经网络基础原理
python·深度学习·tensorflow·tensorflow2
JJJJ_iii5 小时前
【深度学习03】神经网络基本骨架、卷积、池化、非线性激活、线性层、搭建网络
网络·人工智能·pytorch·笔记·python·深度学习·神经网络
玉石观沧海6 小时前
高压变频器故障代码解析F67 F68
运维·经验分享·笔记·分布式·深度学习