OpenCV相机标定与3D重建(49)将视差图（disparity map）重投影到三维空间中函数reprojectImageTo3D()的使用

jndingxin2025-01-09 11:19

操作系统：ubuntu22.04
OpenCV版本：OpenCV4.9
IDE:Visual Studio Code
编程语言：C++11

算法描述

将视差图像重投影到3D空间。

cv::reprojectImageTo3D 是 OpenCV 库中的一个函数，用于将视差图（disparity map）重投影到三维空间中。这个过程涉及到使用从立体校准过程中获得的 Q 矩阵（也称为 disparity-to-depth 映射矩阵），它能将每个像素的视差值转换为 3D 坐标。

函数原型

cpp 复制代码

void cv::reprojectImageTo3D
(
	InputArray 	disparity,
	OutputArray 	_3dImage,
	InputArray 	Q,
	bool 	handleMissingValues = false,
	int 	ddepth = -1 
)

参数

参数disparity：输入的视差图，通常是一个单通道的浮点型或整数类型的图像，表示每个像素处的视差值。
参数_3dImage：输出的3D图像，结果是一个三通道的浮点型图像，每个像素包含该位置对应的3D坐标 (X, Y, Z)。
参数Q：4x4 的 disparity-to-depth 映射矩阵，用于将视差值转换为3D坐标。此矩阵由 stereoRectify 或其他相关函数生成。
参数handleMissingValues：可选参数，指示是否处理缺失值。如果设置为 true，则对于无效的视差值（例如，小于最小视差或大于最大视差的值），输出图像中的相应位置会被填充为特定值（通常是极大值或极小值）。默认值是 false，即不处理缺失值。
参数ddepth：可选参数，指定输出图像的深度。可以是 CV_32F（单精度浮点数）或 CV_64F（双精度浮点数）。如果设置为 -1，则输出图像将继承输入图像的深度。

该函数将单通道的视差图转换为一个三通道的图像，表示3D表面。也就是说，对于每个像素 (x, y) 及其对应的视差 d = disparity(x, y)，它计算：

$X Y Z W$ = Q $x y disparity ( x , y ) z$ . \begin{bmatrix} X \\ Y \\ Z \\ W \end{bmatrix} = Q \begin{bmatrix} x \\ y \\ \texttt{disparity} (x,y) \\ z \end{bmatrix}. XYZW =Q xydisparity(x,y)z .

代码示例

cpp 复制代码

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main()
{
    // 假设我们已经有了视差图和 Q 矩阵
    Mat disparity = /* 加载或计算得到的视差图 */;
    Mat Q = (Mat_<double>(4, 4) << /* ... */); // 4x4 disparity-to-depth 映射矩阵

    // 定义输出的3D图像
    Mat _3dImage;

    // 执行重投影
    reprojectImageTo3D(disparity, _3dImage, Q, true, CV_32F);

    // 可选：保存或显示结果
    // imwrite("3d_image.png", _3dImage);

    cout << "3D Image has been successfully computed." << endl;

    return 0;
}