第九周实验记录

1、安装Nerfstudio

环境配置

首先需要创建环境python=3.8,接着需要安装cuda11.7或11.3 这里安装cuda11.7

bash 复制代码
pip uninstall torch torchvision functorch
 
pip install torch==1.13.1 torchvision functorch --extra-index-url https://download.pytorch.org/whl/cu117

安装tinycudann

直接使用 pip install 命令很可能出错

所以先git 下文件在安装

bash 复制代码
 git clone --recursive https://github.com/nvlabs/tiny-cuda-nn
 cd tiny-cuda-nn
 cmake . -B build
 cmake --build build --config RelWithDebInfo -j

在执行最后一步的时候可能会出现缺少文件的错误,需要升级cmake版本 参考链接

接着链接pytorch

bash 复制代码
 cd tiny-cuda-nn/bindings/torch
 python setup.py install #时间较长

测试 输入python

python 复制代码
python
import tinycudann

如图 ,安装成功

安装nerfstudio

这里可以直接安装

bash 复制代码
 pip install nerfstudio

也可以git安装

bash 复制代码
 git clone https://github.com/nerfstudio-project/nerfstudio.git
 cd nerfstudio
 pip install --upgrade pip setuptools
 pip install -e .

运行实例

首先需要下载数据集,因为网络原因可能会无法下载,我是直接复制下载链接在浏览器下载。

bash 复制代码
 ns-download-data nerfstudio --capture-name=poster

将数据集解压后,可以直接进行训练

bash 复制代码
 ns-train nerfacto --data data/nerfstudio/poster

在HTTP框中 给出了viewer的地方,在pc端上使用ssh链接服务器 使用cmd输入

bash 复制代码
ssh -L 7007:localhost:7007 root@connect.beijinga.seetacloud.com -p 22048

复制链接打开浏览器,可以查看渲染情况

右侧可以渲染图像,得到视频,以及导出点云,在导出点云文件时命令可以运行,得到点云文件

2、MARS实验

按照github的命令配置环境,这里nerfstudio又安装了一些依赖

下载kitti数据集,一开始没有深度图,所以根据给的代码生成了深度图

开始训练(10月份版本的命令)

bash 复制代码
ns-train  nsg-kitti-car-depth-recon --data /root/autodl-tmp/mars/data/kitti-MOT/training/image_02/0006

如果想读取已经训练的权重 :--load_dir /root/autodl-tmp/mars/outputs/0006/nsg-kitti-car-depth-recon/2023-11-04_090030/nerfstudio_models

一开始训练出现killed的情况

可能是内存不足,服务器换了160g内存进行重新训练,可以运行

可视化模型为wandb

查看训练曲线以及渲染图像情况

3090显卡,0006序列训练10万次大概9-10个小时

可视化同样可以使用nerfstudio提供的界面 --vis viewer(但是界面很奇怪)可能存在问题

并且根据提供的命令,渲染视频,也出现了错误,可能是nerfstudio安装出现问题,后续继续解决

下周计划

学习nerfstudio 查看论文、文档

解决本周出现的问题

详细阅读mars论文

相关推荐
游王子22 分钟前
OpenCV(11):人脸检测、物体识别
人工智能·opencv·计算机视觉
春末的南方城市34 分钟前
VidSketch:具有扩散控制的手绘草图驱动视频生成
人工智能·深度学习·计算机视觉·aigc
紫雾凌寒39 分钟前
计算机视觉 |解锁视频理解三剑客——TimeSformer
python·深度学习·神经网络·计算机视觉·transformer·timesformer
楼台的春风2 小时前
【图像亮度、对比度调整,直方图均衡化及图像平滑】
图像处理·人工智能·opencv·算法·计算机视觉·matlab·嵌入式
楼台的春风10 小时前
【图像的读写与基本操作】
图像处理·人工智能·深度学习·opencv·算法·计算机视觉·嵌入式
唔皇万睡万万睡10 小时前
基于帧差分法的车辆检测系统(Matlab)
人工智能·计算机视觉·目标跟踪
go546315846511 小时前
复现一篇关于图像处理和计算机视觉中目标检测模型算法论文的详细步骤及示例代码
图像处理·目标检测·计算机视觉
那雨倾城14 小时前
使用OpenCV实现帧间变化检测:基于轮廓的动态区域标注
图像处理·python·opencv·计算机视觉·视觉检测
程序员JerrySUN14 小时前
从底层驱动到 OpenCV:深入解析 Linux 摄像头完整技术栈
linux·服务器·开发语言·人工智能·opencv·计算机视觉
春末的南方城市15 小时前
CineMaster: 用于电影文本到视频生成的 3D 感知且可控的框架。
人工智能·数码相机·计算机视觉·语言模型·aigc·图像生成