【视觉SLAM:四、相机与图像】

相机模型

相机模型是计算机视觉中的重要内容，用于描述真实相机如何将三维世界投影到二维图像平面。以下从多个角度介绍常见的相机模型。

针孔相机模型

针孔相机模型是最简单的相机模型，用数学公式描述从三维世界到二维图像平面的映射关系。核心公式如下： s [ u v 1 ] = K [ R t ] [ X Y Z 1 ] s\begin{bmatrix}u\\v\\1\end{bmatrix}=\mathbf{K}\begin{bmatrix}\mathbf{R}&\mathbf{t}\end{bmatrix}\begin{bmatrix}X\\Y\\Z\\1\end{bmatrix} s uv1 =K[Rt] XYZ1

• 参数解释：
  • (X,Y,Z) 是世界坐标系中的三维点。
  • (u,v) 是图像坐标系中的像素坐标。
  • R∈SO(3) 和 𝑡 描述相机的旋转和平移（即相机位姿）。
  • K 是相机的内参矩阵，包含焦距和主点坐标。
  • s 是尺度因子，表示物体在相机坐标系中的深度。
• 优点：
  • 精确描述了相机的透视投影特性。
• 局限性：
  • 忽略了真实相机中的畸变现象。

畸变模型

真实相机镜头存在一定的畸变，常见畸变包括：

• 径向畸变：由镜头曲率引起，导致直线变成弯曲。
• 表达公式： p d = p u ( 1 + k 1 r 2 + k 2 r 4 + k 3 r 6 ) \mathbf{p}_d=\mathbf{p}_u(1+k_1r^2+k_2r^4+k_3r^6) pd=pu(1+k1r2+k2r4+k3r6)
  其中 𝑟 是未畸变点 p u \mathbf{p}_u pu到光轴的距离。
• 切向畸变：由于镜头与成像平面不完全平行引起。
  • 表达公式：
    x d = x u + [ 2 p 1 x u y u + p 2 ( r 2 + 2 x u 2 ) ] x_d=x_u+[2p_1x_uy_u+p_2(r^2+2x_u^2)] xd=xu+[2p1xuyu+p2(r2+2xu2)]
    y d = y u + [ p 1 ( r 2 + 2 y u 2 ) + 2 p 2 x u y u ] y_d=y_u+[p_1(r^2+2y_u^2)+2p_2x_uy_u] yd=yu+[p1(r2+2yu2)+2p2xuyu]
    通过校正畸变，可以将畸变的图像点恢复到针孔相机模型中。

双目相机模型

双目相机系统由两个相机组成，用于通过视差恢复三维点的深度信息。

• 几何关系：
  • 两个相机之间的相对位置和姿态由旋转矩阵
• 深度计算：
  Z = f ⋅ b d Z=\frac{f\cdot b}{d} Z=df⋅b
  其中：
  • 𝑍 是3D点的深度。
  • 𝑓 是相机焦距。
  • 𝑏 是基线长度（两个相机的距离）。
  • 𝑑 是视差（两个相机对应点的像素差）。

双目相机常用于三维场景重建。

RGB-D相机模型

RGB-D相机结合了传统的RGB图像和深度信息，直接提供每个像素的深度值 𝑍。

• 深度值与3D点的计算：
  [ X Y Z ] = Z ⋅ K − 1 [ u v 1 ] \begin{bmatrix}X\\Y\\Z\end{bmatrix}=Z\cdot\mathbf{K}^{-1}\begin{bmatrix}u\\v\\1\end{bmatrix} XYZ =Z⋅K−1 uv1
  其中 (𝑢,𝑣) 是像素坐标，𝐾 是相机内参。
• 优点：
  • 能直接获取场景深度，避免了双目相机的匹配误差。
• 常见设备：
  • Kinect、Realsense、Lidar等。

图像

图像的基本定义

• 图像是对真实场景的二维采样，由像素组成，每个像素存储场景的亮度或颜色信息。
• 图像的基本形式：
  • 灰度图像：每个像素存储亮度值。
  • 彩色图像：每个像素存储RGB三个通道的颜色值。

图像坐标系

• 像素坐标系：以像素点为单位，左上角为原点，坐标为 (𝑢,𝑣)。
• 图像坐标系：以图像中心为原点，单位为像素。

计算机中的图像

图像的存储

• 在计算机中，图像以矩阵的形式存储：
  I = [ I ( 0 , 0 ) I ( 0 , 1 ) ⋯ I ( 0 , n ) I ( 1 , 0 ) I ( 1 , 1 ) ⋯ I ( 1 , n ) ⋮ ⋮ ⋱ ⋮ I ( m , 0 ) I ( m , 1 ) ⋯ I ( m , n ) ] \mathbf{I}=\begin{bmatrix}I(0,0)&I(0,1)&\cdots&I(0,n)\\I(1,0)&I(1,1)&\cdots&I(1,n)\\\vdots&\vdots&\ddots&\vdots\\I(m,0)&I(m,1)&\cdots&I(m,n)\end{bmatrix} I= I(0,0)I(1,0)⋮I(m,0)I(0,1)I(1,1)⋮I(m,1)⋯⋯⋱⋯I(0,n)I(1,n)⋮I(m,n)

每个 𝐼(𝑢,𝑣) 表示像素的亮度或颜色值。

图像的处理

• 图像处理包括滤波、边缘检测、特征提取等。
• 在视觉SLAM中，图像处理是特征点提取和匹配的基础。

3D视觉

双目视觉

• 双目视觉通过两个相机的配合，计算场景的深度信息。
• 核心原理：
  • 使用极线约束和视差进行三角测量。
• 双目视觉的应用：
  • 3D场景重建。
  • 目标检测与深度估计。

RGB-D视觉

• RGB-D视觉直接提供深度信息，常用于室内场景的三维建模。
• 优势：
  • 数据采集速度快。
  • 深度信息精确，无需匹配。
• 缺点：
  • 深度传感器对光线和环境敏感。

总结

相机与图像是计算机视觉的核心组成部分。从针孔相机模型到RGB-D相机模型，从二维图像的表示到三维视觉的场景重建，都离不开对相机模型的理解与应用。结合这些模型，可以实现从图像到三维世界的感知与表达，为计算机视觉和SLAM任务奠定了理论基础。