周报6＜仅供自己学习＞

文章目录

• 一、3DGS
• • 1.介绍
  • • 1️⃣技术关键
    • 2️⃣三个关键的要素
    • 3️⃣问题1：什么是快速光栅化
    • 4️⃣问题2：什么是SfM
  • 2.相关工作
  • • 1️⃣基于光场
    • 2️⃣NeRF
    • 3️⃣问题：什么是二位高斯函数
    • 4️⃣问题：球谐函数
    • 5️⃣大致内容
• 二、图像分割实例
• • 1.提取数据集
  • 2.构建模型
  • 3.训练➕预测

一、3DGS

1.介绍

1️⃣技术关键

新颖的3D高斯场景表示➕实时可微分渲染器->场景优化➕新视角的合成

2️⃣三个关键的要素

(1)3D高斯表示场景：一组静态的图像->SfM->一组稀疏点->3D高斯表示场景

(2)优化策略:交错优化和密度控制3D高斯

(3) 渲染算法

快速GPU排序算法

3️⃣问题1：什么是快速光栅化

光栅化:三维场景->二维场景

因为点云和网格可以映射到硬件上操作

4️⃣问题2：什么是SfM

物体检测:从图片中检测多张图片中显著的特征点

物体匹配：将检测的特征点在不同图像中匹配，利用匹配点估计相机的 位姿

三维点云的重建：通过得到的姿态使用三角测量计算匹配点的三维

捆绑调整：最小化投影误差

2.相关工作

1️⃣基于光场

2️⃣NeRF

3️⃣问题：什么是二位高斯函数

（1）作用：二维空间的正太分布函数

（2）效果：创建模拟平滑渐变的光的散射

（3）结构：x，y坐标点

（4）ux，uy均值

（5）6：标准差：控制高斯分布的宽度

（6）协方差矩阵：描述高斯分布的形状和方向

p是xy之间的稀疏

（7）作用

每个点的颜色值通过高斯函数x_i加权

x_i:协方差和学习的不透明度

4️⃣问题：球谐函数

处理方向信息

5️⃣大致内容

二、图像分割实例

1.提取数据集

2.构建模型

3.训练➕预测