相机模型与成像过程：深入解析相机内参、外参及标定方法

相机模型与成像过程：深入解析相机内参、外参及标定方法

引言

相机作为图像采集的重要设备，在图像处理、计算机视觉及机器视觉等领域扮演着核心角色。了解相机的成像原理、模型参数及标定方法，对于提升图像质量和后续处理效果至关重要。本文将详细解析相机模型与成像过程。

相机模型与成像过程

针孔相机模型

针孔相机模型是计算机视觉和摄影中广泛使用的一个基础模型，它模拟了光线通过一个理想化的针孔（即相机的光心）投射到成像平面上的过程。这个模型简化了相机的成像机制，将三维世界中的点映射到二维图像平面上。

在针孔相机模型中，我们定义三个主要的坐标系：

世界坐标系：用于描述物体在三维空间中的位置。
相机坐标系：以相机的光心为原点，光轴为Z轴建立的坐标系，用于描述物体相对于相机的位置。
图像坐标系（或称为像平面坐标系）：位于相机的成像平面上，用于记录物体投影后的二维坐标。

针孔相机模型的核心公式是：

x = f ⋅ X Z 和 y = f ⋅ Y Z x = f \cdot \frac{X}{Z} \quad \text{和} \quad y = f \cdot \frac{Y}{Z} x=f⋅ZX和y=f⋅ZY

注意，这里我去掉了负号，因为在实际应用中，我们通常将成像平面设置在相机坐标系的Z轴正方向（即相机前方）的某个位置，并通过调整焦距f和坐标系的定义来确保公式的一致性。其中，f是相机的焦距，X、Y、Z是相机坐标系中物体的坐标，x、y是物体在成像平面上的投影坐标。

透视相机模型与畸变校正

尽管针孔相机模型提供了一个简洁的成像框架，但实际相机镜头由于制造和设计的限制，往往会产生各种畸变，尤其是径向畸变和切向畸变。这些畸变会导致图像中的形状失真，影响后续的图像处理和计算机视觉任务。

为了校正这些畸变，透视相机模型引入了畸变参数，并通过以下公式对图像坐标进行校正：

x c o r r e c t e d = x ⋅ ( 1 + k 1 ⋅ r 2 + k 2 ⋅ r 4 + k 3 ⋅ r 6 ) + 2 ⋅ p 1 ⋅ x ⋅ y + p 2 ⋅ ( r 2 + 2 ⋅ x 2 ) x_{corrected} = x \cdot (1 + k_1 \cdot r^2 + k_2 \cdot r^4 + k_3 \cdot r^6) + 2 \cdot p_1 \cdot x \cdot y + p_2 \cdot (r^2 + 2 \cdot x^2) xcorrected=x⋅(1+k1⋅r2+k2⋅r4+k3⋅r6)+2⋅p1⋅x⋅y+p2⋅(r2+2⋅x2)

y c o r r e c t e d = y ⋅ ( 1 + k 1 ⋅ r 2 + k 2 ⋅ r 4 + k 3 ⋅ r 6 ) + p 1 ⋅ ( r 2 + 2 ⋅ y 2 ) + 2 ⋅ p 2 ⋅ ( x 2 − y 2 ) y_{corrected} = y \cdot (1 + k_1 \cdot r^2 + k_2 \cdot r^4 + k_3 \cdot r^6) + p_1 \cdot (r^2 + 2 \cdot y^2) + 2 \cdot p_2 \cdot (x^2 - y^2) ycorrected=y⋅(1+k1⋅r2+k2⋅r4+k3⋅r6)+p1⋅(r2+2⋅y2)+2⋅p2⋅(x2−y2)

其中， x x x 和 y y y 是畸变图像中的原始坐标， x c o r r e c t e d x_{corrected} xcorrected 和 y c o r r e c t e d y_{corrected} ycorrected 是校正后的坐标。 r 2 = x 2 + y 2 r^2 = x^2 + y^2 r2=x2+y2 是畸变图像中点到图像中心（通常是光心在成像平面上的投影）的距离的平方。 k 1 k_1 k1、 k 2 k_2 k2、 k 3 k_3 k3 是径向畸变系数，用于校正由于镜头形状引起的径向方向的变形； p 1 p_1 p1、 p 2 p_2 p2 是切向畸变系数，用于校正由于镜头与成像平面不平行引起的切向方向的变形。

通过相机标定过程，我们可以估计出这些畸变系数，并应用上述公式对图像进行畸变校正，以获得更准确的成像结果。

成像过程

相机的成像过程可以概括为四个坐标系的转换：世界坐标系（UVW）-> 相机坐标系（XYZ）-> 图像坐标系（x, y）-> 像素坐标系（u, v）。

世界坐标到相机坐标：通过旋转和平移变换（即相机的外部参数），将世界坐标系中的点转换为相机坐标系中的点。

[ X Y Z 1 ] = [ R t 0 1 ] [ U V W 1 ] \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} = \begin{bmatrix} R & t \\ 0 & 1 \end{bmatrix} \begin{bmatrix} U \\ V \\ W \\ 1 \end{bmatrix} XYZ1 =[R0t1] UVW1

其中， R \mathbf{R} R是3x3的旋转矩阵， t \mathbf{t} t是3x1的平移向量。
相机坐标到图像坐标：通过透视投影，将相机坐标系中的点投影到图像坐标系上。这一步仅与焦距f有关。

x = f ⋅ X Z , y = f ⋅ Y Z x = f \cdot \frac{X}{Z}, \quad y = f \cdot \frac{Y}{Z} x=f⋅ZX,y=f⋅ZY
图像坐标到像素坐标：通过仿射变换，将图像坐标系中的点转换为像素坐标系中的点。这一步涉及光心位置、像素分辨率和偏斜角等相机内部参数。

u = α x + u 0 , v = β y + v 0 u = \alpha x + u_0, \quad v = \beta y + v_0 u=αx+u0,v=βy+v0

其中， α \alpha α和 β \beta β是x和y方向上的缩放因子， u 0 u_0 u0和 v 0 v_0 v0是图像中心像素坐标。

相机内参和外参

内参

相机内参是描述相机内部特性的参数，它们对相机如何将三维世界中的点映射到二维图像平面上起着关键作用。除了基本的焦距、光心位置和像素分辨率外，内参还包括畸变参数，这些参数用于校正由于相机镜头制造和组装过程中的不完美导致的图像畸变。

内参矩阵K通常表示为：

K = [ f x 0 u 0 0 f y v 0 0 0 1 ] K = \begin{bmatrix} f_x & 0 & u_0 \\ 0 & f_y & v_0 \\ 0 & 0 & 1 \end{bmatrix} K= fx000fy0u0v01

其中， f x f_x fx 和 f y f_y fy 是焦距在图像平面上的等效值，通常与像素的纵横比和物理焦距有关（ f x = α ⋅ f f_x = \alpha \cdot f fx=α⋅f， f y = β ⋅ f f_y = \beta \cdot f fy=β⋅f），而 u 0 u_0 u0 和 v 0 v_0 v0 是图像平面的光心坐标（通常是图像的中心，但可能由于制造误差而略有偏移）。

畸变参数 通常包括径向畸变和切向畸变系数。径向畸变使图像看起来像是通过一个球形透镜观看，导致图像向中心"收缩"或向外"膨胀"。切向畸变则是由于相机镜头与图像平面不完全平行引起的。畸变参数通常表示为 k 1 , k 2 , k 3 k_1, k_2, k_3 k1,k2,k3（径向畸变）和 p 1 , p 2 p_1, p_2 p1,p2（切向畸变）。

外参

相机外参描述了相机在世界坐标系中的位置和朝向。外参由旋转矩阵 R \mathbf{R} R 和平移向量 t \mathbf{t} t 组成，它们将世界坐标系中的点转换为相机坐标系中的点。

( X c Y c Z c ) = R ( X w Y w Z w ) + t \begin{pmatrix} X_c \\ Y_c \\ Z_c \end{pmatrix} = \mathbf{R} \begin{pmatrix} X_w \\ Y_w \\ Z_w \end{pmatrix} + \mathbf{t} XcYcZc =R XwYwZw +t

这个公式描述了如何将世界坐标系中的三维点 ( X w , Y w , Z w ) (X_w, Y_w, Z_w) (Xw,Yw,Zw) 转换为相机坐标系中的三维点 ( X c , Y c , Z c ) (X_c, Y_c, Z_c) (Xc,Yc,Zc)。其中：

R \mathbf{R} R 是3x3的旋转矩阵，表示相机的旋转姿态，它由三个旋转角（如俯仰角、偏航角和滚转角）决定。
t \mathbf{t} t 是3x1的平移向量，表示相机在世界坐标系中的位置。

结合内参和外参，可以计算出世界坐标系中的点到图像坐标系（即像素坐标系）的映射关系，这是计算机视觉和机器人学中许多任务（如三维重建、增强现实、运动跟踪等）的基础。

相机标定

相机标定是通过已知的世界坐标和对应的像素坐标，计算相机的内参和外参的过程。标定过程通常涉及以下步骤：

采集标定图像：使用相机从不同角度拍摄标定板（如棋盘格），确保每张图像中标定板完整且清晰可见。
检测角点 ：利用图像处理算法（如OpenCV的cv2.findChessboardCorners）检测每张图像中标定板的角点，并获取这些角点在图像坐标系中的坐标。
计算内参、畸变参数及外参 ：利用检测到的角点坐标和已知的标定板角点在世界坐标系中的坐标，通过cv2.calibrateCamera等函数计算相机的内参、畸变参数及外参。
优化和验证：通过优化算法（如最小二乘法）对计算得到的内参和外参进行进一步优化，以提高标定精度。同时，使用未参与标定的图像对标定结果进行验证，确保标定参数的准确性和可靠性。
应用标定结果：标定完成后，可以将得到的内参、外参及畸变参数应用于后续的图像处理、三维重建等任务中，以提高处理效果和精度。

畸变校正的示例代码

在相机标定完成后，可以使用计算出的畸变参数对图像进行畸变校正。以下是一个使用OpenCV进行畸变校正的示例代码：

python 复制代码

import cv2
import numpy as np

# 假设已经计算得到了相机的内参矩阵 mtx 和畸变系数 dist
# 读取一张需要校正的图像
img = cv2.imread('calibration_images/distorted_image.jpg')
h, w = img.shape[:2]

# 获取校正映射
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 1, (w, h))

# 校正图像
dst = cv2.undistort(img, mtx, dist, None, newcameramtx)

# 裁剪图像
x, y, w, h = roi
dst = dst[y:y+h, x:x+w]

# 显示校正后的图像
cv2.imshow('Undistorted Image', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

标定误差评估

在标定完成后，通过计算重投影误差来评估标定结果的准确性。重投影误差是指将三维世界坐标点通过标定得到的内参和外参投影到图像平面上的点与实际检测到的图像坐标点之间的距离。较小的重投影误差表明标定精度较高。

python 复制代码

mean_error = 0
for i in range(len(objpoints)):
    imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
    error = cv2.norm(imgpoints[i], imgpoints2, cv2.NORM_L2)/len(imgpoints2)
    mean_error += error
total_error = mean_error/len(objpoints)
print(f"Total re-projection error: {total_error}")

在实际应用中，重投影误差一般要求在亚像素级别（如小于0.5像素），以保证标定结果的可靠性。

相机标定的实际应用场景

相机标定在许多计算机视觉和图像处理任务中具有广泛应用。以下是几个典型的应用场景：

三维重建：通过标定相机获取精确的内参和外参，可以将二维图像中的点映射到三维空间，从而进行三维模型的重建。
增强现实（AR）：在增强现实应用中，相机标定用于将虚拟物体准确地叠加在真实世界中，实现虚实融合的效果。
无人驾驶：在无人驾驶技术中，摄像头标定是实现环境感知和障碍物检测的重要步骤，标定的精度直接影响自动驾驶的安全性和可靠性。

结论

本文详细介绍了相机模型、成像过程、内参与外参的概念，以及相机标定的具体步骤和误差评估方法。通过深入理解这些基础知识，可以为计算机视觉和图像处理领域的实际应用奠定坚实的基础。在未来的应用中，这些知识将帮助我们更好地处理复杂的视觉任务，提高系统的整体性能和稳定性。