【相机标定系列】【相机模型】SLAM 中常用的相机模型&畸变模型总结

Overview

鱼眼镜头的成像原理分类：

Dioptric cameras，通过透镜来实现，主要是折射
Catadioptric cameras，使用一个标准相机加一个面镜（Shaped mirror）
polydioptric camera，通过多个相机重叠视野

目前的视觉系统都是 central 的，入射光线会相交于同一点，点称为 single effective viewpoint。

https://github.com/alalagong/CameraModel

Camera models相机模型

Pinhole：针孔
omnidirectional：全向

（【鱼眼镜头9】论文Omnidirectional Camera，鱼眼是全向折射相机，满足单一有效视点，scaramuzza多项式Taylor模型（适用于鱼眼相机），统一投影模型（在鱼眼应用受限））中提到了Omni 相机模型，早期的统一投影模型和后来的scaramuzza多项式Taylor模型（适用于鱼眼相机）

Distortion models ：畸变模型

Equidistant (EQUI)
Radtan
FOV

Equi畸变模型是一种用于描述相机镜头引起的径向畸变（radial distortion）的数学模型。它基于等距投影（equidistant projection）的原理，即图像上点与物体空间点之间的距离在投影前后保持不变。在【鱼眼镜头10】等距Equidistant模型的Kannala-Brandt模型中我说明了这个的模型的情况，在opencv 中fisheye有应用

Radtan在【相机标定系列】径向畸变和切向畸变（radial-tangential distortion） 径向畸变和切向畸变模型，简称为radtan畸变模型。中有说明，是经典的畸变模型

Projection model：投影模型

Full projection model
MEI Camera
Pinhole Camera
atan Camera
Davide Scaramuzza Camera

常用用例

要注意畸变矫正之后的相机内参会变化。

DSO：Pinhole + Equi / Radtan / FOV

VINS：Pinhole / Omni + Radtan

SVO：Pinhole / atan / Scaramuzza

OpenCV：cv: pinhole + Radtan , cv::fisheye: pinhole + Equi , cv::omnidir: Omni + Radtan

cv::fisheye在 OpenCV 中用于鱼眼相机的标定，但它本身并不直接等同于 Kannala-Brandt 模型。不过，cv::fisheye 函数在处理鱼眼相机标定时，可能会采用类似 Kannala-Brandt 模型或其他鱼眼相机模型的方法来描述和校正鱼眼相机的畸变。

cv::fisheye

cv::fisheye 是 OpenCV 库中用于处理鱼眼相机（Fisheye Camera）的模块。它基于鱼眼相机模型来处理鱼眼镜头引入的严重畸变。以下是关于 cv::fisheye 所基于的模型的一些关键点：

1. 鱼眼相机模型简介：

   • 鱼眼相机相较于传统针孔相机，拥有更广阔的视野，但这也导致了更严重的畸变。
   • 鱼眼相机模型通常包括针孔成像和鱼眼畸变两个主要部分。

2. 针孔成像：

   • 在鱼眼相机模型中，针孔成像描述了从3D世界坐标系到相机坐标系，再到理想图像坐标系的投影过程。
   • 这一过程通过外参数的旋转和平移转换来实现。

3. 鱼眼畸变：

   • 鱼眼畸变是鱼眼相机特有的现象，它导致图像中的直线在图像边缘附近呈现弯曲状。
   • OpenCV 中的 cv::fisheye 模块使用多项式模型来描述这种畸变，通常包括多个畸变系数（如 k1, k2, k3, k4 等）。
   • 畸变校正通常涉及将畸变图像坐标转换为校正后的图像坐标。

4. 畸变校正过程：

   • 对于世界坐标系中的一点 P，首先通过针孔投影得到理想坐标 a; b。
   • 接着，应用鱼眼畸变模型计算畸变后的坐标 x'; y'。
   • 最后，将畸变坐标调整到像素坐标系 u; v。

5. 多项式畸变模型：

   • OpenCV 的 cv::fisheye 模块使用的畸变模型通常是一个多项式，如 θ d = θ ( 1 + k 1 θ 2 + k 2 θ 4 + k 3 θ 6 + k 4 θ 8 θd = θ (1 + k1θ^2 + k2θ^4 + k3θ^6 + k4θ^8 θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8)。
   • 其中，θ 是理想坐标的极角，θd 是畸变后的极角，k1, k2, k3, k4 是畸变系数。

6. 模型应用：

   • cv::fisheye 模块提供了多种函数和工具，用于鱼眼相机的标定、畸变校正、投影和反投影等操作。
   • 通过这些工具，用户可以准确地校正鱼眼相机拍摄的图像，获得更准确的视觉信息。

总结来说，cv::fisheye 是基于鱼眼相机模型来处理鱼眼镜头引入的畸变的。它利用针孔成像原理和多项式畸变模型来模拟和校正鱼眼相机的成像过程，从而为用户提供高质量的视觉信息。

参考

https://blog.csdn.net/OKasy/article/details/90665534