IBR-net 代码研读

1. TrainDataloader

从TrainDataset 里面读取 RGB 根据 图像生成 Ray

2. Feature Map 生成

假设原图的 shape (512,512,3), 选择原图相近的 10张图像,经过U-Net 类似的结构之后,生成的 特征Tensor 是(10,64,128,128)。 这个特征图 分成2个(10,32,128,128) 和 (10,32,128,128) 分别送入到 Coarse IBR-net 和 Fine IBR-Net 中去

3. 最重要的依据 Feature Map 去得到 color 和 density

3.1 根据 射线得到采样点,然后往关联的feature map 上面做投影,查询feature.

5000条射线采样64个点,shape (500,64,3), 然后这些世界系的采样点往 关联的 RGB 图像上进行投影,并查询相关的RGB 数值。

python 复制代码
## 世界系的3D点做投影
 pixel_locations, mask_in_front = self.compute_projections(xyz, train_cameras)
 normalized_pixel_locations = self.normalize(pixel_locations, h, w)   # [n_views, n_rays, n_samples, 2]

 # rgb sampling, 根据投影的坐标查询RGB
 rgbs_sampled = F.grid_sample(train_imgs, normalized_pixel_locations, align_corners=True)
 rgb_sampled = rgbs_sampled.permute(2, 3, 0, 1)  # [n_rays, n_samples, n_views, 3]

## 根据 投影的在feature map 的坐标查询 对应的 Feature 
feat_sampled = F.grid_sample(featmaps, normalized_pixel_locations, align_corners=True)
feat_sampled = feat_sampled.permute(2, 3, 0, 1)  # [n_rays, n_samples, n_views, d]

## 将查询得到的 RGB 和 feature Concat 起来
rgb_feat_sampled = torch.cat([rgb_sampled, feat_sampled], dim=-1)   # [n_rays, n_samples, n_views, d+3]

投影点会落在 图像边界外,因此有一个 Mask 来 记录提取的feature 的有效性。

3.2 计算空间采样点的 density 和 color

1. 将采样点对10张关联的 direction 进行MLP学习成35维度的feature

通过一个MLP,将每个世界点到 相关方向的 direction (500,64,10.3) 通过MLP 学成 (500,64,10,35) 维度的feature

相关推荐
海洲探索-Hydrovo10 分钟前
TTP Aether X 天通透传模块丨国产自主可控大数据双向通讯定位模组
网络·人工智能·科技·算法·信息与通信
触想工业平板电脑一体机11 分钟前
【触想智能】工业安卓一体机在人工智能领域上的市场应用分析
android·人工智能·智能电视
墨染天姬2 小时前
【AI】数学基础之矩阵
人工智能·线性代数·矩阵
2401_841495643 小时前
【计算机视觉】基于复杂环境下的车牌识别
人工智能·python·算法·计算机视觉·去噪·车牌识别·字符识别
倔强青铜三4 小时前
苦练Python第66天:文件操作终极武器!shutil模块完全指南
人工智能·python·面试
倔强青铜三4 小时前
苦练Python第65天:CPU密集型任务救星!多进程multiprocessing模块实战解析,攻破GIL限制!
人工智能·python·面试
强哥之神4 小时前
浅谈目前主流的LLM软件技术栈:Kubernetes + Ray + PyTorch + vLLM 的协同架构
人工智能·语言模型·自然语言处理·transformer·openai·ray
zskj_qcxjqr4 小时前
七彩喜艾灸机器人:当千年中医智慧遇上现代科技
大数据·人工智能·科技·机器人
Wnq100724 小时前
如何在移动 的巡检机器人上,实现管道跑冒滴漏的视觉识别
数码相机·opencv·机器学习·计算机视觉·目标跟踪·自动驾驶
Zack_Liu5 小时前
深度学习基础模块
人工智能·深度学习