OpenCV Calib3d 模块使用指南

一、模块概述

OpenCV 的 Calib3d 模块主要提供相机校准和 3D 重建相关的功能。通过该模块,我们可以对相机进行标定以去除镜头畸变,还能从 2D 图像中恢复 3D 信息。下面将详细介绍该模块的主要类和函数,以及它们在不同应用场景中的实现。

二、主要函数详解

(一)相机校准相关函数

1. cv.findChessboardCorners()
  • 功能:在图像中查找棋盘格角点。
  • 参数
    • image:输入的灰度图像。
    • patternSize:棋盘格内角点的行数和列数(如 (7, 7) 表示 7 行 7 列)。
    • flags:用于指定查找角点的方法,如 cv.CALIB_CB_ADAPTIVE_THRESH 等。
  • 返回值
    • ret:是否成功找到角点的布尔值。
    • corners:找到的角点坐标。
示例代码

python

复制代码
import cv2 as cv
import numpy as np

# 读取图像
img = cv.imread('chessboard.jpg')
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)

# 棋盘格内角点的行数和列数
pattern_size = (7, 7)

# 查找角点
ret, corners = cv.findChessboardCorners(gray, pattern_size)

if ret:
    # 绘制角点
    cv.drawChessboardCorners(img, pattern_size, corners, ret)
    cv.imshow('Corners', img)
    cv.waitKey(0)
2. cv.calibrateCamera()
  • 功能:对相机进行校准,计算相机的内参矩阵、畸变系数等。
  • 参数
    • objectPoints:世界坐标系中棋盘格角点的三维坐标。
    • imagePoints:图像中对应的角点坐标。
    • imageSize:图像的尺寸。
    • cameraMatrix:输出的相机内参矩阵。
    • distCoeffs:输出的畸变系数。
    • rvecs:输出的旋转向量。
    • tvecs:输出的平移向量。
  • 返回值
    • ret:校准的重投影误差。
示例代码

python

复制代码
import cv2 as cv
import numpy as np

# 棋盘格内角点的行数和列数
pattern_size = (7, 7)
# 世界坐标系中棋盘格角点的三维坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)

# 存储世界坐标系和图像坐标系中的点
objpoints = []
imgpoints = []

# 读取一系列图像
for i in range(1, 11):
    img = cv.imread(f'chessboard_{i}.jpg')
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
    ret, corners = cv.findChessboardCorners(gray, pattern_size)
    if ret:
        objpoints.append(objp)
        imgpoints.append(corners)

# 图像尺寸
image_size = (img.shape[1], img.shape[0])

# 相机校准
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)

print(f"重投影误差: {ret}")
print(f"相机内参矩阵: \n{camera_matrix}")
print(f"畸变系数: \n{dist_coeffs}")

(二)3D 重建相关函数

1. cv.solvePnP()
  • 功能:根据 3D 点和对应的 2D 点求解相机的位姿(旋转和平移)。
  • 参数
    • objectPoints:世界坐标系中 3D 点的坐标。
    • imagePoints:图像中对应的 2D 点坐标。
    • cameraMatrix:相机的内参矩阵。
    • distCoeffs:相机的畸变系数。
    • rvec:输出的旋转向量。
    • tvec:输出的平移向量。
  • 返回值
    • ret:是否成功求解的布尔值。
示例代码

python

复制代码
import cv2 as cv
import numpy as np

# 相机内参矩阵和畸变系数(假设已经通过校准得到)
camera_matrix = np.array([[1000, 0, 320], [0, 1000, 240], [0, 0, 1]], dtype=np.float32)
dist_coeffs = np.zeros((5, 1), dtype=np.float32)

# 世界坐标系中 3D 点的坐标
object_points = np.array([[0, 0, 0], [1, 0, 0], [0, 1, 0], [0, 0, 1]], dtype=np.float32)
# 图像中对应的 2D 点坐标
image_points = np.array([[100, 100], [200, 100], [100, 200], [100, 100]], dtype=np.float32)

# 求解相机位姿
ret, rvec, tvec = cv.solvePnP(object_points, image_points, camera_matrix, dist_coeffs)

if ret:
    print(f"旋转向量: \n{rvec}")
    print(f"平移向量: \n{tvec}")
2. cv.reprojectImageTo3D()
  • 功能:将视差图转换为 3D 点云。
  • 参数
    • disparity:输入的视差图。
    • Q:用于从视差图恢复 3D 信息的重投影矩阵。
  • 返回值
    • points_3d:输出的 3D 点云。
示例代码

python

复制代码
import cv2 as cv
import numpy as np

# 假设已经有视差图和重投影矩阵
disparity = cv.imread('disparity_map.png', cv.IMREAD_GRAYSCALE)
Q = np.array([[1, 0, 0, -320], [0, 1, 0, -240], [0, 0, 0, 1000], [0, 0, 1 / 100, 0]], dtype=np.float32)

# 从视差图恢复 3D 点云
points_3d = cv.reprojectImageTo3D(disparity, Q)

print(f"3D 点云形状: {points_3d.shape}")

三、应用场景实现

(一)相机标定(用于去除镜头畸变)

相机标定的主要目的是计算相机的内参矩阵和畸变系数,以便对图像进行去畸变处理。以下是一个完整的相机标定和去畸变的示例代码:

python

复制代码
import cv2 as cv
import numpy as np

# 棋盘格内角点的行数和列数
pattern_size = (7, 7)
# 世界坐标系中棋盘格角点的三维坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)

# 存储世界坐标系和图像坐标系中的点
objpoints = []
imgpoints = []

# 读取一系列图像
for i in range(1, 11):
    img = cv.imread(f'chessboard_{i}.jpg')
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
    ret, corners = cv.findChessboardCorners(gray, pattern_size)
    if ret:
        objpoints.append(objp)
        imgpoints.append(corners)

# 图像尺寸
image_size = (img.shape[1], img.shape[0])

# 相机校准
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)

# 读取待去畸变的图像
img = cv.imread('test_image.jpg')

# 去畸变
undistorted_img = cv.undistort(img, camera_matrix, dist_coeffs)

cv.imshow('Original Image', img)
cv.imshow('Undistorted Image', undistorted_img)
cv.waitKey(0)

(二)3D 重建(如从 2D 图像恢复 3D 信息)

以下是一个简单的从 2D 图像对进行 3D 重建的示例代码,包括相机校准、求解相机位姿和恢复 3D 点云:

python

复制代码
import cv2 as cv
import numpy as np

# 棋盘格内角点的行数和列数
pattern_size = (7, 7)
# 世界坐标系中棋盘格角点的三维坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)

# 存储世界坐标系和图像坐标系中的点
objpoints = []
imgpoints = []

# 读取一系列图像
for i in range(1, 11):
    img = cv.imread(f'chessboard_{i}.jpg')
    gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
    ret, corners = cv.findChessboardCorners(gray, pattern_size)
    if ret:
        objpoints.append(objp)
        imgpoints.append(corners)

# 图像尺寸
image_size = (img.shape[1], img.shape[0])

# 相机校准
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)

# 读取左右图像
img_left = cv.imread('left_image.jpg')
img_right = cv.imread('right_image.jpg')

# 转换为灰度图像
gray_left = cv.cvtColor(img_left, cv.COLOR_BGR2GRAY)
gray_right = cv.cvtColor(img_right, cv.COLOR_BGR2GRAY)

# 创建立体匹配器
stereo = cv.StereoBM_create(numDisparities=16, blockSize=15)
# 计算视差图
disparity = stereo.compute(gray_left, gray_right)

# 计算重投影矩阵
R = np.eye(3)
T = np.array([[100, 0, 0]]).T
Q = cv.stereoRectify(camera_matrix, dist_coeffs, camera_matrix, dist_coeffs, image_size, R, T)[4]

# 从视差图恢复 3D 点云
points_3d = cv.reprojectImageTo3D(disparity, Q)

print(f"3D 点云形状: {points_3d.shape}")

四、注意事项

  • 棋盘格图像:在进行相机标定时,需要使用一系列不同角度和位置的棋盘格图像,以确保校准结果的准确性。
  • 图像质量:图像的质量会影响角点检测和 3D 重建的结果,因此应尽量使用清晰、光照均匀的图像。
  • 参数选择 :在使用 cv.StereoBM_create() 等函数时,需要根据实际情况选择合适的参数,如 numDisparitiesblockSize 等。

通过以上内容,你可以了解到 Calib3d 模块的主要功能和使用方法,以及如何在不同的应用场景中实现相机标定和 3D 重建。

相关推荐
DM今天肝到几点?1 小时前
【7.26-7.28胜算云AI日报:首个开源3D世界生成模型腾讯混元、微软预示 8 月 GPT-5 发布、Nemotron推理、商汤悟能、DM夺金】
人工智能·vscode·microsoft·3d·ai·chatgpt
美狐美颜sdk12 小时前
直播美颜SDK动态贴纸模块开发指南:从人脸关键点识别到3D贴合
3d·美颜sdk·直播美颜sdk·第三方美颜sdk·视频美颜sdk·美颜api
cpsvps12 小时前
3D芯片香港集成:技术突破与产业机遇全景分析
人工智能·3d
byxdaz15 小时前
GStreamer与OpenCV集成
opencv·gstreamer
WXX_s16 小时前
【OpenCV篇】OpenCV——03day.图像预处理(2)
人工智能·python·opencv·学习·计算机视觉
CoovallyAIHub16 小时前
避开算力坑!无人机桥梁检测场景下YOLO模型选型指南
深度学习·算法·计算机视觉
17 小时前
3D碰撞检测系统 基于SAT算法+Burst优化(Unity)
算法·3d·unity·c#·游戏引擎·sat
Jackilina_Stone17 小时前
【论文|复现】YOLOFuse:面向多模态目标检测的双流融合框架
人工智能·python·目标检测·计算机视觉·融合
Tony沈哲17 小时前
OpenCV 图像调色优化实录:基于图像金字塔的 RAW / HEIC 文件加载与调色实践
opencv·算法