《------往期经典推荐------》
二、机器学习实战专栏【链接】 ，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~
《------正文------》
目录
引言
摄像机标定是通过确定摄像机的内参数（焦距、光学中心、畸变系数）和外参数（摄像机位置和方向）来提高图像在真实的世界中的几何精度的过程。该过程校正相机捕获的图像中的失真，从而允许相机准确地感知真实的世界中的距离、角度和对象。一个很好的例子是校正鱼眼相机拍摄的图像。
什么是相机校准？
照相机通过将真实的世界投影到二维平面上来捕捉它。然而，由于光学元件和透镜的结构特性，这些图像中可能会出现误差。最常见的错误是扭曲和透视错误。相机校准通过计算相机的内在和外在参数来校正这些误差，从而允许更准确的测量和几何计算。
关键参数：
- 内在参数：
- 焦距：根据透镜的焦距确定图像的大小。
- 光学中心（主点）：相机透镜的中心点。
- 畸变系数：用于校正透镜畸变，如桶形畸变和枕形畸变。(You将在图1中清楚地看到这一点。）
注：术语"失真"是指镜头引起的误差，如翘曲或弯曲。
图1.枕形失真和桶形失真。
2.外部参数：
- 相机位置：相机相对于世界的位置（x，y，z坐标）。
- 相机方向：相机相对于世界的视角（旋转角度）。
图2.收集用于校准的视觉数据。
如何进行相机校准？
通常，已知的几何图案（诸如棋盘）用于相机校准。**该图案的已知尺寸和位置用作检测相机图像中的失真的参考。**校准过程包括以下步骤：
- 图像采集：要执行相机校准，您需要从不同角度拍摄一组至少15张棋盘图案的图像。该图案的角点有助于检测图像中的失真。
- 角点检测：在每个图像中检测棋盘图案的角点。这些角点的正确检测对于精确校准至关重要。
- 内外参数计算：根据摄像机图像中角点与其真实坐标的差异，优化计算摄像机的内外参数。该计算通常使用AI算法或数学优化技术来完成。
- 失真校正：计算出的参数用于校正图像中的失真，消除非线性透镜失真。
- 验证：为了测试校准的准确性，使用相机拍摄新图像，并应用校准参数来校正图像。然后观察校正的准确性。
图3.添加桶形失真。
在Python中使用OpenCV进行相机校准
OpenCV是Python中最常用的相机校准库之一。OpenCV为相机校准和畸变校正提供了必要的功能。下面是一个简单的校准示例：
python
import cv2
import numpy as np
import glob
# Dimensions of the chessboard (number of internal corners)
grid_size = (9, 6)
# The real-world size of each square (2 cm)
square_size = 2 # cm
# 3D world coordinates of the chessboard
obj_points = np.zeros((grid_size[0] * grid_size[1], 3), np.float32)
obj_points[:, :2] = np.mgrid[0:grid_size[0], 0:grid_size[1]].T.reshape(-1, 2) * square_size
# Lists for storing the necessary points for calibration
object_points = [] # 3D world coordinates
image_points = [] # 2D image coordinates
# Folder where calibration images are stored
images = glob.glob('calibration_images/*.jpg')
for fname in images:
img = cv2.imread(fname)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# Find the corners of the chessboard
ret, corners = cv2.findChessboardCorners(gray, grid_size, None)
if ret:
object_points.append(obj_points)
image_points.append(corners)
# Visualize the corners
cv2.drawChessboardCorners(img, grid_size, corners, ret)
cv2.imshow('Chessboard Corners', img)
cv2.waitKey(500)
cv2.destroyAllWindows()
# Perform calibration
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv2.calibrateCamera(object_points, image_points, gray.shape[::-1], None, None)
# Save the camera matrix and distortion coefficients
np.savez('calibration_data.npz', camera_matrix=camera_matrix, dist_coeffs=dist_coeffs)
# Print the calibration results
print("Camera Matrix:\n", camera_matrix)
print("Distortion Coefficients:\n", dist_coeffs)代码的逐行解释
import cv2
import numpy as np
import glob-
cv2（OpenCV）：我们导入OpenCV，一个用于图像处理的库。该库提供了摄像机标定和图像处理中的许多函数。
-
numpy（np）：我们导入NumPy来轻松执行数值运算和使用数组。
-
glob：用于组织文件路径并列出文件夹中的文件。此处用于抓取包含校准图像的文件夹中的所有图像。
grid_size = (9, 6)
-
grid_size：指定棋盘上内角点的数量。在这个例子中，棋盘图案具有9列和6行角点（9列 * 6行= 54个角点）。此值应与实际使用的棋盘相匹配。
square_size = 2 # cm
-
square_size：棋盘上的每个正方形都被设置为具有2 cm的真实世界边长。
obj_points = np.zeros((grid_size[0] * grid_size[1], 3), np.float32)
obj_points[:, :2] = np.mgrid[0:grid_size[0], 0:grid_size[1]].T.reshape(-1, 2) * square_size -
obj_points：我们在真实世界坐标中创建棋盘上角的3D位置。每个角点的Z轴值均设置为0。
-
np.zeros（（grid_size0 * grid_size1，3），np.float32）：为每个角点创建具有（x，y，z）坐标的3D空矩阵。
-
**np.mgrid0：grid_size\[0，0：grid_size1]：**生成棋盘上角点的（x，y）坐标。
注 ：
mgrid是一个NumPy函数，用于创建多维网格结构，语法为mgrid[start：end：step]。举例来说：
Two-Dimensional Grid (Mesh)
x, y = np.mgrid[0:3, 0:3]
print("X:\n", x)
print("Y:\n", y)
Output:
X:
[[0 0 0]
[1 1 1]
[2 2 2]]
Y:
[[0 1 2]
[0 1 2]
[0 1 2]]-
T.reshape（-1，2）：将二维角点合并为单个矩阵。
object_points = [] # 3D world coordinates
image_points = [] # 2D image coordinates -
object_points：一个列表，用于存储每个图像的3D真实棋盘角点。
-
image_points：用于存储每个图像的2D图像角点的列表。
images = glob.glob('calibration_images/*.jpg')
-
images ：查找
calibration_images文件夹中的所有.jpg文件并将其存储在列表中。这些是用于校准的棋盘图案图像。for fname in images:
img = cv2.imread(fname)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) -
此循环处理每个图像：
-
cv2.imread（fname） ：读取
fname指定的图像。 -
cv2.cvtColor（img，cv2.COLOR_BGR2GRAY）：将读取的图像从彩色（BGR）转换为灰度。在灰度图像上检测棋盘图案更容易。
ret, corners = cv2.findChessboardCorners(gray, grid_size, None)
-
cv2.findChessboardCorners：尝试查找灰度图像中的棋盘角。
-
ret：一个标志（True/False），表示棋盘角是否被成功找到。
-
corners：图像中检测到的角点的2D坐标。
if ret:
object_points.append(obj_points)
image_points.append(corners) -
如果ret 为
True，表示棋盘角已成功找到： -
object_points.append（obj_points）：将3D真实世界坐标添加到列表中。
-
image_points.append（corners）：将2D图像坐标添加到列表中。
cv2.drawChessboardCorners(img, grid_size, corners, ret)
cv2.imshow('Chessboard Corners', img)
cv2.waitKey(500) -
cv2.drawChessboardCorners：通过在图像上绘制线条来可视化检测到的棋盘角点。
-
cv2.imshow：在新窗口中显示带有检测到的角点的图像。
-
cv2.waitKey（500）：图像显示500毫秒（0.5秒）。
cv2.destroyAllWindows()
-
cv2.destroyAllWindows：关闭所有打开的窗口。
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv2.calibrateCamera(object_points, image_points, gray.shape[::-1], camera_matrix=None, dist_coeffs=None, flags=None, criteria=None)
-
camera_matrix：包含相机内部参数（焦距、光学中心等）的矩阵。
-
dist_coeffs：透镜畸变系数。
-
rvecs：旋转向量。
-
tvecs：平移向量。
-
**cv2.calibrate Camera：执行相机校准。**此函数根据真实世界3D点与图像中对应的2D点之间的关系计算相机参数。
-
object_points：3D真实世界坐标。
-
image_points：图像中的2D投影坐标。
-
gray. shape ：：-1：图像分辨率（宽度和高度）。
-
**camera_matrix（默认值：None）-calibrate相机侧：这是一个3x3矩阵，表示相机的内部参数（焦距、主点等）。**如果提供为"无"，则这些参数将由函数计算。如果你有一个已知的相机矩阵，你可以在这里提供它。
-
**dist_coeffs（默认值：None）-calibrate相机侧：这是表示失真系数（失真）的向量。**如果设置为"无"，则将通过函数计算失真系数。
注意 ：提供
**camera_matrix=None**和**dist_coeffs=None****的原因是您希望计算这些参数并将其作为校准结果获取。**在代码中，您试图从特定图像中推导出相机的内部参数和透镜失真系数（camera_matrix和dist_coeffs）。
-
flags（可选） ：这些是用于在校准期间指定某些选项的标志。例如：
cv2.CALIB_USE_INTRINSIC_GUESS：启用内部参数（相机矩阵和失真系数）的初始猜测。cv2.CALIB_FIX_PRINCIPAL_POINT：修复主点。cv2.CALIB_FIX_ASPECT_RATIO：修复纵横比。 -
criteria（可选） ：指定迭代条件。这是优化过程的停止条件，通常与
cv2.TERM_CRITERIA_MAX_ITER和cv2.TERM_CRITERIA_EPS等选项一起使用。np.savez('calibration_data.npz', camera_matrix=camera_matrix, dist_coeffs=dist_coeffs)
-
savez ：将计算的相机矩阵和失真系数保存到一个名为
calibration_data.npz的文件中。此文件允许您以后重复使用校准参数。print("Camera Matrix:\n", camera_matrix)
print("Distortion Coefficients:\n", dist_coeffs) -
print ：在屏幕上显示camera_matrix （内部参数）和失真系数。
此代码使用OpenCV执行相机校准并保存结果。摄像机校准对于校正图像中的失真和进行精确测量至关重要。
校准后将获得的值
在此过程结束时，函数将计算并返回camera_matrix和dist_coeffs：
摄象机矩阵
该矩阵包含相机的内部参数（焦距、主点等）。它用于了解摄影机的透镜特性和透视变换。它是一个3x3矩阵，可以看起来像这样：
这里，f_x 和f_y 是相机的焦距（以像素为单位），c_x 和c_y是图像平面上的主点（通常是图像的中心）的像素坐标。
什么是最重要的一点？主点表示图像的光学中心，并定义相机的透镜和图像平面之间的关系。如果相机的光轴偏离中心，则可以使用c_x 和c_y坐标来检测该偏移。
范例：
假设您的相机分辨率为1920x1080像素，校准后，您将获得以下camera_matrix：
- f_x = 1200 和f_y = 1200：沿水平轴和垂直轴的焦距沿着。
- c_x = 960 和c_y = 540：主点的坐标，位于图像平面的中心（960和540表示中心点，因为您的分辨率为1920x1080）。
分布系数
它包含透镜的畸变系数。这些系数用于校正透镜的几何失真（例如，桶形失真或枕形失真）。
通常，该向量包含以下系数：
这些系数：
- k_1、k_2、k_3 ：径向畸变系数。这些用于校正桶形或枕形失真。如果图像中的失真随着它们远离中心而变得更加明显，则这是径向失真，并且k_1 、k_2 和k_3 校正该失真。k_1 校正图像中心附近的失真。k_2 校正朝向图像边缘的较大失真。k_3在离中心最远的点处，特别是在边缘处，对失真进行微调。
桶形失真：向边缘扩展的失真。
枕形失真：向内收缩到边缘的失真。
2. p_1、p_2 ：切向失真系数。当透镜与传感器未完全对准时，会发生这种失真。如果透镜没有完全居中或具有轴偏移，则图像倾向于向边缘偏移。p_1 和p_2 校正该倾斜。p_1 校正沿x轴 （水平面）的沿着偏移或失真。P_2 校正沿y轴（垂直平面）的沿着偏移或失真。
什么是径向和切向失真？
径向失真 ：这些失真导致图像中的直线在远离中心时弯曲。k_1 、k_2 和k_3用于校正这些曲线。
切向畸变 ：当透镜与传感器不完全垂直时产生的畸变，导致图像向边缘偏移。p_1 和p_2校正这些移位。
3. k_4、k_5、k_6***（可选）***：高阶径向畸变系数。这些参数用于校正更复杂的畸变，例如来自非常广角镜头的畸变。它们通常不用于标准校准，但可以在需要更精确的校正时应用。
范例：
dist_coeffs = [0.1, -0.25, 0.001, 0.002, 0.03]- k_1 = 0.1 和k_2 = -0.25：用于校正径向失真的系数。
- p_1 = 0.001 和p_2 = 0.002：用于校正切向失真的系数。
- k_3 = 0.03：高阶径向畸变系数。
K 和P值越大，校正越强。随着它们的减少，校正的效果也会减弱。
好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！