OpenCV Calib3d 模块使用指南

一、模块概述

OpenCV 的 Calib3d 模块主要提供相机校准和 3D 重建相关的功能。通过该模块，我们可以对相机进行标定以去除镜头畸变，还能从 2D 图像中恢复 3D 信息。下面将详细介绍该模块的主要类和函数，以及它们在不同应用场景中的实现。

二、主要函数详解

（一）相机校准相关函数

1. cv.findChessboardCorners()

• 功能：在图像中查找棋盘格角点。
• 参数 ：
  • image：输入的灰度图像。
  • patternSize：棋盘格内角点的行数和列数（如 (7, 7) 表示 7 行 7 列）。
  • flags：用于指定查找角点的方法，如 cv.CALIB_CB_ADAPTIVE_THRESH 等。
• 返回值 ：
  • ret：是否成功找到角点的布尔值。
  • corners：找到的角点坐标。

示例代码

python

import cv2 as cv
import numpy as np

# 读取图像
img = cv.imread('chessboard.jpg')
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)

# 棋盘格内角点的行数和列数
pattern_size = (7, 7)

# 查找角点
ret, corners = cv.findChessboardCorners(gray, pattern_size)

if ret:
    # 绘制角点
    cv.drawChessboardCorners(img, pattern_size, corners, ret)
    cv.imshow('Corners', img)
    cv.waitKey(0)

2. cv.calibrateCamera()

• 功能：对相机进行校准，计算相机的内参矩阵、畸变系数等。
• 参数 ：
  • objectPoints：世界坐标系中棋盘格角点的三维坐标。
  • imagePoints：图像中对应的角点坐标。
  • imageSize：图像的尺寸。
  • cameraMatrix：输出的相机内参矩阵。
  • distCoeffs：输出的畸变系数。
  • rvecs：输出的旋转向量。
  • tvecs：输出的平移向量。
• 返回值 ：
  • ret：校准的重投影误差。

示例代码

python

import cv2 as cv
import numpy as np

# 棋盘格内角点的行数和列数
pattern_size = (7, 7)
# 世界坐标系中棋盘格角点的三维坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)

# 存储世界坐标系和图像坐标系中的点
objpoints = []
imgpoints = []

# 读取一系列图像
for i in range(1, 11):
    img = cv.imread(f'chessboard_{i}.jpg')
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
    ret, corners = cv.findChessboardCorners(gray, pattern_size)
    if ret:
        objpoints.append(objp)
        imgpoints.append(corners)

# 图像尺寸
image_size = (img.shape[1], img.shape[0])

# 相机校准
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)

print(f"重投影误差: {ret}")
print(f"相机内参矩阵: \n{camera_matrix}")
print(f"畸变系数: \n{dist_coeffs}")

（二）3D 重建相关函数

1. cv.solvePnP()

• 功能：根据 3D 点和对应的 2D 点求解相机的位姿（旋转和平移）。
• 参数 ：
  • objectPoints：世界坐标系中 3D 点的坐标。
  • imagePoints：图像中对应的 2D 点坐标。
  • cameraMatrix：相机的内参矩阵。
  • distCoeffs：相机的畸变系数。
  • rvec：输出的旋转向量。
  • tvec：输出的平移向量。
• 返回值 ：
  • ret：是否成功求解的布尔值。

示例代码

python

import cv2 as cv
import numpy as np

# 相机内参矩阵和畸变系数（假设已经通过校准得到）
camera_matrix = np.array([[1000, 0, 320], [0, 1000, 240], [0, 0, 1]], dtype=np.float32)
dist_coeffs = np.zeros((5, 1), dtype=np.float32)

# 世界坐标系中 3D 点的坐标
object_points = np.array([[0, 0, 0], [1, 0, 0], [0, 1, 0], [0, 0, 1]], dtype=np.float32)
# 图像中对应的 2D 点坐标
image_points = np.array([[100, 100], [200, 100], [100, 200], [100, 100]], dtype=np.float32)

# 求解相机位姿
ret, rvec, tvec = cv.solvePnP(object_points, image_points, camera_matrix, dist_coeffs)

if ret:
    print(f"旋转向量: \n{rvec}")
    print(f"平移向量: \n{tvec}")

2. cv.reprojectImageTo3D()

• 功能：将视差图转换为 3D 点云。
• 参数 ：
  • disparity：输入的视差图。
  • Q：用于从视差图恢复 3D 信息的重投影矩阵。
• 返回值 ：
  • points_3d：输出的 3D 点云。

示例代码

python

import cv2 as cv
import numpy as np

# 假设已经有视差图和重投影矩阵
disparity = cv.imread('disparity_map.png', cv.IMREAD_GRAYSCALE)
Q = np.array([[1, 0, 0, -320], [0, 1, 0, -240], [0, 0, 0, 1000], [0, 0, 1 / 100, 0]], dtype=np.float32)

# 从视差图恢复 3D 点云
points_3d = cv.reprojectImageTo3D(disparity, Q)

print(f"3D 点云形状: {points_3d.shape}")

三、应用场景实现

（一）相机标定（用于去除镜头畸变）

相机标定的主要目的是计算相机的内参矩阵和畸变系数，以便对图像进行去畸变处理。以下是一个完整的相机标定和去畸变的示例代码：

python

import cv2 as cv
import numpy as np

# 棋盘格内角点的行数和列数
pattern_size = (7, 7)
# 世界坐标系中棋盘格角点的三维坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)

# 存储世界坐标系和图像坐标系中的点
objpoints = []
imgpoints = []

# 读取一系列图像
for i in range(1, 11):
    img = cv.imread(f'chessboard_{i}.jpg')
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
    ret, corners = cv.findChessboardCorners(gray, pattern_size)
    if ret:
        objpoints.append(objp)
        imgpoints.append(corners)

# 图像尺寸
image_size = (img.shape[1], img.shape[0])

# 相机校准
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)

# 读取待去畸变的图像
img = cv.imread('test_image.jpg')

# 去畸变
undistorted_img = cv.undistort(img, camera_matrix, dist_coeffs)

cv.imshow('Original Image', img)
cv.imshow('Undistorted Image', undistorted_img)
cv.waitKey(0)

（二）3D 重建（如从 2D 图像恢复 3D 信息）

以下是一个简单的从 2D 图像对进行 3D 重建的示例代码，包括相机校准、求解相机位姿和恢复 3D 点云：

python

import cv2 as cv
import numpy as np

# 棋盘格内角点的行数和列数
pattern_size = (7, 7)
# 世界坐标系中棋盘格角点的三维坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)

# 存储世界坐标系和图像坐标系中的点
objpoints = []
imgpoints = []

# 读取一系列图像
for i in range(1, 11):
    img = cv.imread(f'chessboard_{i}.jpg')
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
    ret, corners = cv.findChessboardCorners(gray, pattern_size)
    if ret:
        objpoints.append(objp)
        imgpoints.append(corners)

# 图像尺寸
image_size = (img.shape[1], img.shape[0])

# 相机校准
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)

# 读取左右图像
img_left = cv.imread('left_image.jpg')
img_right = cv.imread('right_image.jpg')

# 转换为灰度图像
gray_left = cv.cvtColor(img_left, cv.COLOR_BGR2GRAY)
gray_right = cv.cvtColor(img_right, cv.COLOR_BGR2GRAY)

# 创建立体匹配器
stereo = cv.StereoBM_create(numDisparities=16, blockSize=15)
# 计算视差图
disparity = stereo.compute(gray_left, gray_right)

# 计算重投影矩阵
R = np.eye(3)
T = np.array([[100, 0, 0]]).T
Q = cv.stereoRectify(camera_matrix, dist_coeffs, camera_matrix, dist_coeffs, image_size, R, T)[4]

# 从视差图恢复 3D 点云
points_3d = cv.reprojectImageTo3D(disparity, Q)

print(f"3D 点云形状: {points_3d.shape}")

四、注意事项

• 棋盘格图像：在进行相机标定时，需要使用一系列不同角度和位置的棋盘格图像，以确保校准结果的准确性。
• 图像质量：图像的质量会影响角点检测和 3D 重建的结果，因此应尽量使用清晰、光照均匀的图像。
• 参数选择 ：在使用 cv.StereoBM_create() 等函数时，需要根据实际情况选择合适的参数，如 numDisparities 和 blockSize 等。

通过以上内容，你可以了解到 Calib3d 模块的主要功能和使用方法，以及如何在不同的应用场景中实现相机标定和 3D 重建。