文章目录
一、3DGS
1.介绍
1️⃣技术关键
新颖的3D高斯场景表示➕实时可微分渲染器->场景优化➕新视角的合成
2️⃣三个关键的要素
(1)3D高斯表示场景:一组静态的图像->SfM->一组稀疏点->3D高斯表示场景
(2)优化策略:交错优化和密度控制3D高斯
(3) 渲染算法
快速GPU排序算法
3️⃣问题1:什么是快速光栅化
光栅化:三维场景->二维场景
因为点云和网格可以映射到硬件上操作
4️⃣问题2:什么是SfM
物体检测:从图片中检测多张图片中显著的特征点
物体匹配:将检测的特征点在不同图像中匹配,利用匹配点估计相机的 位姿
三维点云的重建:通过得到的姿态使用三角测量计算匹配点的三维
捆绑调整:最小化投影误差
2.相关工作
1️⃣基于光场
2️⃣NeRF
3️⃣问题:什么是二位高斯函数
(1)作用:二维空间的正太分布函数
(2)效果:创建模拟平滑渐变的光的散射
(3)结构:x,y坐标点
(4)ux,uy均值
(5)6:标准差:控制高斯分布的宽度
(6)协方差矩阵:描述高斯分布的形状和方向
p是xy之间的稀疏
(7)作用
每个点的颜色值通过高斯函数x_i加权
x_i:协方差和学习的不透明度
4️⃣问题:球谐函数
处理方向信息