MVS net笔记和理解

文章目录

传统的方法有什么缺陷吗?

传统的mvs算法它对图像的光照要求相对较高,但是在实际中要保证照片的光照效果很好是很难的。所以传统算法对镜面反射,白墙这种的重建效果就比较差。

通过深度学习的方式,可以让网络去学习在相对不同的光照效果下的重建,也可以学习到镜面反射的效果。

MVSnet

MVS的理论核心和传统的基本是一样的。 这个网络的核心是构建 cost volume,这个过程就用到plane sweeping的方式。

这个网络的输入是需要有一张源照片(source image), 和多张参考照片(reference images), 首先需要对这些照片做特征提取。关键是如何构建这个cost volume。首先需要设定一个深度范围,然后将这个深度范围分成很多小份,这样做可以构建出一个volume。然后将源图像的特征图通过相机的内外参将 它从相机坐标系投射至世界坐标系,然后就可以在 volume 中找到一个对应的深度范围,然后再将特征投射到reference image的特征图上,假设深度值是完美的,那么reference image 上的点所带有的特征应该是和原图像中被投射的点的特征是一样的。但是因为有误差所以会得出一个cost,把所有reference照片的cost和在一起就变成了cost volume。为了能让每一张照片都平等的参与,而不是让原照片做主导,文中引入了一个variance metircs。

另外,cost volume 正则 (cost volume regularization)就是使用一个U形结构来将重新处理cost volume。因为原生的cost volume 可能会出现光照偏差啊,深度重合等噪音问题,为了去除这些噪音,所以选择了U形的结构来处理。这样可以保证之后深度输出的时候也不会输出过于异常值。

深度的预估

这里文章是使用的一个深度期望来表示的深度概率,然而不是简单的使用概率最大的深度作为点的深度。

除此之外,文中还结合了 reference 照片去优化depth map 目的是解决因为大感受野和正则出现的结果过于平滑的问题。 最好将initial 和 refined 的depth 都和GT比较做loss。

相关推荐
老贾专利烩3 分钟前
智能健康项链专利拆解:ECG 与 TBI 双模态监测的硬件架构与信号融合
人工智能·科技·健康医疗
无奈何杨6 分钟前
MCP Server工具参数设计与AI约束指南
人工智能
青梅主码6 分钟前
中国在世界人工智能大会上发布《人工智能全球治理行动计划》:中美 AI 竞争白热化,贸易紧张局势下的全球治理新篇章
人工智能
loopdeloop18 分钟前
机器学习、深度学习与数据挖掘:核心技术差异、应用场景与工程实践指南
深度学习·机器学习·数据挖掘
loopdeloop19 分钟前
机器学习、深度学习与数据挖掘:三大技术领域的深度解析
深度学习·机器学习·数据挖掘
张较瘦_1 小时前
[论文阅读] 人工智能 + 软件工程 | CASCADE:用LLM+编译器技术破解JavaScript混淆难题
javascript·论文阅读·人工智能
呆头鹅AI工作室1 小时前
[2025CVPR-图象分类方向]CATANet:用于轻量级图像超分辨率的高效内容感知标记聚合
图像处理·人工智能·深度学习·目标检测·机器学习·计算机视觉·分类
向左转, 向右走ˉ1 小时前
为什么分类任务偏爱交叉熵?MSE 为何折戟?
人工智能·深度学习·算法·机器学习·分类·数据挖掘
抓个马尾女孩1 小时前
什么是熵、交叉熵、相对熵(KL散度)
人工智能·机器学习
张较瘦_2 小时前
[论文阅读] 人工智能 | 机器学习工作流的“救星”:数据虚拟化服务如何解决数据管理难题?
论文阅读·人工智能·机器学习