OpenCV学习探秘之二 ：数字图像的矩阵原理，OpenCV图像类与常用函数接口说明，及其常见操作核心技术详解

一、图像处理基础概念​

1.1数字图像的矩阵

如下图，这是我们看到的 Lena 的头像，但是计算机看来，这副图像只是一堆亮度各异的点。一副尺寸为 M × N 的图像可以用一个 M × N 的矩阵来表示，矩阵元素的值表示这个位置上的像素的亮度，一般来说像素值越大表示该点越亮。

一般来说，灰度图用 2 维矩阵表示；彩色（多通道）图像用 3 维矩阵（M × N × 3）表示。对于图像显示来说，目前大部分设备都是用无符号 8 位整数（类型为 CV_8U）表示像素亮度。

1.2数字图像的本质​

图像在计算机中本质是多维矩阵​：

• 彩色图像：三维矩阵（高度×宽度×3），通道顺序为BGR（非RGB）
• 灰度图像：二维矩阵（高度×宽度），像素值范围0-255（0黑→255白）
• 像素关系：相邻像素通过4-邻域、8-邻域空间连接，构成连通域

1.3​图像处理的意义​

​ - 降噪增强​：提升图像质量（如医疗影像去噪）

• 特征提取：识别关键信息（如边缘、角点）
• 数据压缩：减少存储与计算量（如灰度化降75%内存）；

二、OpenCV图像类

2.1 Mat类结构

Mat类是 OpenCV 用于存储和操作图像 / 矩阵数据的核心结构，其设计兼顾了内存效率与操作灵活性。从结构上看，Mat由头部（Header） 和数据块（Data Block） 两部分组成。

2.2 Mat类构造

opencv最核心的Mat类，Mat 是一个非常优秀的图像类，它同时也是一个通用的矩阵类，可以用来创建和操作多维矩阵。有多种方法创建一个 Mat 对象。常用的构造函数有：

• Mat::Mat()
  无参数构造方法；
• Mat::Mat(int rows, int cols, int type)
  创建行数为 rows，列数为 col，类型为 type 的图像；
• Mat::Mat(Size size, int type)
  创建大小为 size，类型为 type 的图像；
• Mat::Mat(int rows, int cols, int type, const Scalar& s)
  创建行数为 rows，列数为 col，类型为 type 的图像，并将所有元素初始化为值 s；
• Mat::Mat(Size size, int type, const Scalar& s)
  创建大小为 size，类型为 type 的图像，并将所有元素初始化为值 s；
• Mat::Mat(const Mat& m)
  将 m 赋值给新创建的对象，此处不会对图像数据进行复制，m 和新对象共用图像数据；
• Mat::Mat(int rows, int cols, int type, void* data, size_t step=AUTO_STEP)
  创建行数为 rows，列数为 col，类型为 type 的图像，此构造函数不创建图像数据所需内存，而是直接使用 data 所指内存，图像的行步长由 step指定。
• Mat::Mat(Size size, int type, void* data, size_t step=AUTO_STEP)
  创建大小为 size，类型为 type 的图像，此构造函数不创建图像数据所需内存，而是直接使用 data 所指内存，图像的行步长由 step 指定。
• Mat::Mat(const Mat& m, const Range& rowRange, const Range& colRange)
  创建的新图像为 m 的一部分，具体的范围由 rowRange 和 colRange 指定，此构造函数也不进行图像数据的复制操作，新图像与 m 共用图像数据；
• Mat::Mat(const Mat& m, const Rect& roi)
  创建的新图像为 m 的一部分，具体的范围 roi 指定，此构造函数也不进行图像数据的复制操作，新图像与 m 共用图像数据。
  这些构造函数中，很多都涉及到类型type。type可以是CV_8UC1，CV_16SC1，...，CV_64FC4 等。里面的 8U 表示 8 位无符号整数，16S 表示 16 位有符号整数，64F表示 64 位浮点数（即 double 类型）；C 后面的数表示通道数，例如 C1 表示一个通道的图像，C4 表示 4 个通道的图像，以此类推。

三 常用接口函数

3.1 图像读写与显示

3.1.1 读取图像

• imread(const string& filename, int flags=IMREAD_COLOR)
  读取图像文件，flags可选：
  IMREAD_COLOR：加载彩色图（默认）；
  IMREAD_GRAYSCALE：加载灰度图；
  IMREAD_UNCHANGED：加载包含 Alpha 通道的图像；

3.1.2 保存图像

• imwrite(const string& filename, InputArray img)
  保存图像到文件，支持格式：JPEG、PNG、BMP 等。

3.1.3 显示图像

• namedWindow(const string& winname, int flags=WINDOW_AUTOSIZE)
  创建窗口，flags可选：
  WINDOW_AUTOSIZE：窗口大小自适应图像；
  WINDOW_NORMAL：窗口可调整大小；
• imshow(const string& winname, InputArray mat)
  在指定窗口显示图像。搭配waitKey(int delay=0)等待按键事件，delay为毫秒数，0 表示无限等待。

3.2 图像操作颜色空间转换

3.2.1 颜色空间转换

• cvtColor(InputArray src, OutputArray dst, int code)
  转换颜色空间。

3.2.2 图像缩放

• resize(InputArray src, OutputArray dst, Size dsize, double fx=0, double fy=0, int interpolation=INTER_LINEAR)
  调整图像大小，interpolation可选：
  INTER_LINEAR：双线性插值（默认）；
  INTER_NEAREST：最近邻插值；
  INTER_CUBIC：双三次插值（放大更清晰）；

3.2.3 图像翻转与旋转

• flip(InputArray src, OutputArray dst, int flipCode)
  翻转图像，flipCode：
  0：上下翻转
  1：左右翻转
  -1：上下 + 左右翻转
• rotate(InputArray src, OutputArray dst, int rotateCode)
  旋转图像，rotateCode：
  ROTATE_90_CLOCKWISE：顺时针 90 度；
  ROTATE_180：180 度；
  ROTATE_90_COUNTERCLOCKWISE：逆时针 90 度；

3.3 图像滤波与增强

3.3.1 平滑滤波

• blur(InputArray src, OutputArray dst, Size ksize)
  均值滤波，ksize为核大小（如(3, 3)）。
• GaussianBlur(InputArray src, OutputArray dst, Size ksize, double sigmaX, double sigmaY=0)
  高斯滤波，sigmaX为 X 方向标准差。
• medianBlur(InputArray src, OutputArray dst, int ksize)
  中值滤波，ksize为核大小（奇数）。

3.3.2 边缘检测

• Canny(InputArray image, OutputArray edges, double threshold1, double threshold2)
  Canny 边缘检测，threshold1和threshold2为双阈值。

3.3.3 直方图均衡化

• equalizeHist(InputArray src, OutputArray dst)
  增强图像对比度（仅适用于灰度图）。

3.4 形态学操作

• erode(InputArray src, OutputArray dst, InputArray kernel)
  腐蚀操作，缩小前景物体。
• dilate(InputArray src, OutputArray dst, InputArray kernel)
  膨胀操作，扩大前景物体。
• morphologyEx(InputArray src, OutputArray dst, int op, InputArray kernel)
  形态学高级操作，op可选：
  MORPH_OPEN：开运算（先腐蚀后膨胀）
  MORPH_CLOSE：闭运算（先膨胀后腐蚀）
  MORPH_GRADIENT：形态学梯度（膨胀 - 腐蚀）

3.5 图像算术与逻辑运算

• add(InputArray src1, InputArray src2, OutputArray dst)
  图像加法（支持带权重的加法）。
• subtract(InputArray src1, InputArray src2, OutputArray dst)
  图像减法。
• bitwise_and(InputArray src1, InputArray src2, OutputArray dst)
  按位与（用于掩码操作）。
• bitwise_or(InputArray src1, InputArray src2, OutputArray dst)
  按位或。
• bitwise_not(InputArray src, OutputArray dst)
  按位取反。

3.6 几何变换

3.6.1 仿射变换

• warpAffine(InputArray src, OutputArray dst, InputArray M, Size dsize)
  应用仿射变换，M为 2×3 变换矩阵。
• getRotationMatrix2D(Point2f center, double angle, double scale)
  获取旋转矩阵（用于warpAffine）。

3.6.2 透视变换

• warpPerspective(InputArray src, OutputArray dst, InputArray M, Size dsize)
  应用透视变换，M为 3×3 变换矩阵。
• getPerspectiveTransform(const Point2f src[], const Point2f dst[])
  计算透视变换矩阵。

3.7 特征提取

• findContours(InputOutputArray image, OutputArrayOfArrays contours, OutputArray hierarchy, int mode, int method)
  查找图像轮廓，mode为轮廓检索模式，method为轮廓近似方法。
• HoughLines(InputArray image, OutputArray lines, double rho, double theta, int threshold)
  Hough 直线检测。
• HoughCircles(InputArray image, OutputArray circles, int method, double dp, double minDist)
  Hough 圆检测。

3.8 其他常用操作

• split(const Mat& src, Mat* mvbegin)
  将多通道图像分割为单通道（例如 BGR→B、G、R）。
• merge(const Mat* mv, size_t count, OutputArray dst)
  将多个单通道图像合并为多通道。
• copyTo(InputArray src, OutputArray dst, InputArray mask)
  带掩码的图像复制。
• setTo(InputOutputArray dst, const Scalar& value, InputArray mask=noArray())
  将图像或 ROI 设置为指定值。

四 常见操作原理说明

4.1 灰度处理原理与效果

在计算机视觉中，灰度图像是指每个像素仅由一个数值表示其亮度的图像，数值范围通常为 0（黑色）到 255（白色）。将彩色图像转换为灰度图像的过程称为灰度处理，其核心是通过加权平均或特定算法将 RGB 三个通道的信息合并为单通道。

4.1.1 灰度处理原理

常见的灰度转换的数学原理算法有以下几种：

平均值法

将 RGB 三个通道的数值取平均：

Gray = (R + G + B) / 3

加权平均法（更符合人眼感知）

人眼对绿色更敏感，因此绿色通道权重更高：

Gray = 0.299*R + 0.587*G + 0.114*B

这也是 OpenCV 默认的转换公式（CV_BGR2GRAY）

最大值法

使用 RGB 中的最大值作为灰度值：

Gray = max(R, G, B)

4.1.2 灰度处理的效果与场景

效果

• 减少数据量：从三通道变为单通道，内存占用减少 1/3。
• 突出形状特征：消除颜色干扰，更专注于纹理、边缘等结构信息。

常见应用

• 人脸识别：预处理阶段常将图像转为灰度，降低计算复杂度。
• 边缘检测：灰度图像更适合 Canny、Sobel 等算子提取边缘。
• 模板匹配：灰度处理可提高匹配准确性。
• 图像压缩：灰度图像可使用更高效的压缩算法。

4.1.2 代码示例

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // 读取彩色图像
    Mat colorImage = imread("input.jpg", IMREAD_COLOR);
    if (colorImage.empty()) {
        cout << "无法读取图像!" << endl;
        return -1;
    }

    // 创建用于存储灰度图像的Mat对象
    Mat grayImage;

    // 方法1: 使用OpenCV内置函数进行灰度转换
    cvtColor(colorImage, grayImage, COLOR_BGR2GRAY);

    // 方法2: 手动实现加权平均法
    Mat manualGray = Mat::zeros(colorImage.size(), CV_8UC1);
    for (int i = 0; i < colorImage.rows; i++) {
        for (int j = 0; j < colorImage.cols; j++) {
            Vec3b pixel = colorImage.at<Vec3b>(i, j);
            // 注意: OpenCV中颜色顺序为BGR而非RGB
            uchar gray = 0.299 * pixel[2] + 0.587 * pixel[1] + 0.114 * pixel[0];
            manualGray.at<uchar>(i, j) = gray;
        }
    }

    // 显示原图和灰度图
    imshow("彩色图像", colorImage);
    imshow("OpenCV灰度转换", grayImage);
    imshow("手动灰度转换", manualGray);

    // 保存灰度图像
    imwrite("output_gray.jpg", grayImage);

    // 等待按键退出
    waitKey(0);
    return 0;
}

4.2 颜色空间转换

颜色空间是描述颜色的数学模型，不同场景下需选择合适的颜色空间（如 RGB 适合显示，HSV 适合颜色分割）。OpenCV 通过cvtColor函数实现颜色空间转换，核心是基于数学公式的通道数值映射。

4.2.1 核心原理

颜色空间转换的本质是 通道数值的数学变换：通过预设公式将原颜色空间的通道值（如 RGB 的 R、G、B）转换为目标空间的通道值（如 HSV 的 H、S、V）。

OpenCV 支持很多种转换（通过ColorConversionCodes枚举指定），以下是常用类型及效果：

转换类型	适用场景	效果特点
COLOR_BGR2RGB	图像显示（OpenCV 默认 BGR 存储）	交换 R 和 B 通道，解决 OpenCV 与其他库（如 Qt）的显示颜色偏差。
COLOR_BGR2GRAY	预处理（减少计算量）	转为单通道灰度图，保留亮度信息，消除颜色干扰。
COLOR_BGR2HSV	颜色分割（如目标检测）	H 通道单独表示颜色，可通过阈值快速提取特定颜色（如红色物体）。
COLOR_BGR2YCrCb	肤色检测	Y 通道为亮度，Cr、Cb 通道对肤色敏感，适合提取人脸区域。
COLOR_BGR2Lab	光照不变性场景	Lab 空间对光照变化不敏感，适合光照不均时的颜色分析。

4.2.2 常见颜色转换示例：

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // 1. 读取图像（OpenCV默认以BGR格式加载）
    Mat bgr_img = imread("test.jpg");
    if (bgr_img.empty()) {
        cout << "无法读取图像！" << endl;
        return -1;
    }

    // 2. 定义目标图像
    Mat rgb_img, gray_img, hsv_img, ycrcb_img;

    // 3. 颜色空间转换（核心函数：cvtColor）
    cvtColor(bgr_img, rgb_img, COLOR_BGR2RGB);       // BGR→RGB（用于正确显示）
    cvtColor(bgr_img, gray_img, COLOR_BGR2GRAY);     // BGR→灰度
    cvtColor(bgr_img, hsv_img, COLOR_BGR2HSV);       // BGR→HSV
    cvtColor(bgr_img, ycrcb_img, COLOR_BGR2YCrCb);   // BGR→YCrCb

    // 4. 显示结果
    imshow("原图（BGR）", bgr_img);
    imshow("RGB（用于显示校正）", rgb_img);
    imshow("灰度图（减少干扰）", gray_img);
    imshow("HSV（颜色分割友好）", hsv_img);
    imshow("YCrCb（肤色检测）", ycrcb_img);

    // 5. 保存结果
    imwrite("hsv_result.jpg", hsv_img);
    imwrite("gray_result.jpg", gray_img);

    // 等待按键退出
    waitKey(0);
    destroyAllWindows();
    return 0;
}

4.3 图像滤波与增强

4.3.1 图像滤波

图像滤波与增强是计算机视觉中，用于改善图像质量、突出特征或抑制噪声。OpenCV 提供了丰富的滤波与增强函数，核心是通过卷积操作或像素值映射实现。滤波是通过 卷积核（Kernel） 对图像进行邻域操作的过程。

• 线性滤波：输出像素是邻域像素的加权和（如均值滤波、高斯滤波）。
• 非线性滤波：输出像素由邻域像素的排序或统计值决定（如中值滤波、双边滤波）。

数学表达：输出像素值 = 卷积核 × 邻域像素矩阵（逐元素相乘后求和）。

常见滤波方法及效果

滤波类型	原理	效果与应用场景
均值滤波	用邻域平均值替代中心像素	模糊图像、降噪，但会丢失细节
高斯滤波	用高斯函数加权邻域像素	平滑图像，保留更多细节，常用于预处理
中值滤波	用邻域像素的中值替代中心像素	有效去除椒盐噪声，保留边缘
双边滤波	同时考虑空间距离和像素值差异	平滑图像的同时保留边缘，适合美颜等场景

4.3.2 图像增强原理

增强是通过像素值映射函数调整图像对比度或亮度：

• 线性增强：直接缩放像素值范围（如直方图均衡化）。
• 非线性增强：通过对数、指数等函数调整（如伽马校正）。

增强类型	原理	效果与场景
直方图均衡化	拉伸像素值分布，使直方图更均匀	增强整体对比度，适合低对比度图像
伽马校正	通过幂函数调整亮度（γ>1 变暗，γ<1 变亮）	局部细节增强，适合调整过曝或过暗图像

代码示例

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // 1. 读取图像（可替换为带噪声的图像）
    Mat src = imread("test.jpg", IMREAD_COLOR);
    if (src.empty()) {
        cout << "无法读取图像！" << endl;
        return -1;
    }

    // 2. 定义输出图像
    Mat blur_img, gaussian_img, median_img, bilateral_img;
    Mat equalized_img, gamma_corrected_img;

    // 3. 图像滤波
    blur(src, blur_img, Size(5, 5));                   // 均值滤波（5×5核）
    GaussianBlur(src, gaussian_img, Size(5, 5), 0);    // 高斯滤波
    medianBlur(src, median_img, 5);                    // 中值滤波（核大小必须为奇数）
    bilateralFilter(src, bilateral_img, 9, 75, 75);    // 双边滤波

    // 4. 图像增强
    // 4.1 直方图均衡化（需先转为灰度图）
    Mat gray, equalized_gray;
    cvtColor(src, gray, COLOR_BGR2GRAY);
    equalizeHist(gray, equalized_gray);
    cvtColor(equalized_gray, equalized_img, COLOR_GRAY2BGR);

    // 4.2 伽马校正
    Mat src_f;
    src.convertTo(src_f, CV_32F, 1.0/255.0);  // 归一化到[0,1]
    pow(src_f, 0.5, gamma_corrected_img);     // γ=0.5（变亮）
    gamma_corrected_img.convertTo(gamma_corrected_img, CV_8U, 255.0);

    // 5. 显示结果
    imshow("原图", src);
    imshow("均值滤波", blur_img);
    imshow("高斯滤波", gaussian_img);
    imshow("中值滤波", median_img);
    imshow("双边滤波", bilateral_img);
    imshow("直方图均衡化", equalized_img);
    imshow("伽马校正(γ=0.5)", gamma_corrected_img);

    // 6. 保存结果
    imwrite("gaussian_result.jpg", gaussian_img);
    imwrite("equalized_result.jpg", equalized_img);

    waitKey(0);
    return 0;
}

4.4 边缘检测

边缘检测是计算机视觉中，用于识别图像中亮度突变的区域（即边缘），广泛应用于目标分割、特征提取和场景理解。OpenCV 提供了多种边缘检测算法，核心是基于一阶或二阶导数计算像素值的变化率。

图像边缘在对应像素值的梯度突变，数学上通过卷积核计算一阶导数（如 Sobel、Prewitt 算子）或二阶导数（如 Laplacian 算子）来检测这种变化。

4.4.1 常见边缘检测算法对比：

算法	原理	效果	适用场景
Sobel	一阶导数算子	计算水平和垂直梯度	边缘较粗，定位精度中等 快速检测、预处理
Canny	多阶段优化（非极大值抑制 + 双阈值）	边缘细、定位准、假边缘少	高精度场景（如工业检测）
Laplacian	二阶导数算子，检测梯度的零交叉点	对边缘方向不敏感，可能产生双边缘	简单场景、快速原型
Prewitt	类似 Sobel，但权重均匀	计算简单，对噪声敏感	教学或低计算资源场景

4.4.2 代码示例

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // 1. 读取图像并转为灰度图
    Mat src = imread("test.jpg", IMREAD_COLOR);
    if (src.empty()) {
        cout << "无法读取图像！" << endl;
        return -1;
    }
    Mat gray;
    cvtColor(src, gray, COLOR_BGR2GRAY);

    // 2. 高斯平滑（减少噪声）
    Mat blurred;
    GaussianBlur(gray, blurred, Size(3, 3), 0);

    // 3. 定义输出图像
    Mat sobelx, sobely, sobel_edges;
    Mat laplacian_edges;
    Mat canny_edges;
    Mat prewitt_edges;

    // 4. Sobel边缘检测
    Sobel(blurred, sobelx, CV_64F, 1, 0, 3);  // x方向梯度
    Sobel(blurred, sobely, CV_64F, 0, 1, 3);  // y方向梯度
    convertScaleAbs(sobelx, sobelx);           // 转换为8位无符号整数
    convertScaleAbs(sobely, sobely);
    addWeighted(sobelx, 0.5, sobely, 0.5, 0, sobel_edges);  // 合并梯度

    // 5. Laplacian边缘检测
    Laplacian(blurred, laplacian_edges, CV_8U, 3);

    // 6. Canny边缘检测（关键参数：阈值1和阈值2）
    Canny(blurred, canny_edges, 50, 150);

    // 7. Prewitt边缘检测（手动实现）
    Mat prewitt_x = (Mat_<int>(3, 3) << -1, 0, 1, -1, 0, 1, -1, 0, 1);
    Mat prewitt_y = (Mat_<int>(3, 3) << -1, -1, -1, 0, 0, 0, 1, 1, 1);
    Mat grad_x, grad_y;
    filter2D(blurred, grad_x, CV_16S, prewitt_x);
    filter2D(blurred, grad_y, CV_16S, prewitt_y);
    convertScaleAbs(grad_x, grad_x);
    convertScaleAbs(grad_y, grad_y);
    addWeighted(grad_x, 0.5, grad_y, 0.5, 0, prewitt_edges);

    // 8. 显示结果
    imshow("原图", src);
    imshow("Sobel边缘", sobel_edges);
    imshow("Laplacian边缘", laplacian_edges);
    imshow("Canny边缘", canny_edges);
    imshow("Prewitt边缘", prewitt_edges);

    // 9. 保存结果
    imwrite("canny_result.jpg", canny_edges);

    waitKey(0);
    return 0;
}

4.5 腐蚀与膨胀

腐蚀（Erosion）与膨胀（Dilation）是形态学图像处理的操作中，用于改变图像中物体的形状和大小。它们通过 结构元素（Structuring Element）对图像进行逐像素扫描，实现对前景物体的收缩或扩张。腐蚀和膨胀本质上是对图像中 "前景像素（通常为白色）" 的操作。

4.5.1 腐蚀（Erosion）

原理：结构元素在图像上滑动，若结构元素完全包含于前景区域，则保留中心像素，否则删除。

效果：前景物体收缩，孔洞扩大，细小连接被断开。

4.5.2 膨胀（Dilation）

原理：结构元素在图像上滑动，若结构元素与前景区域有交集，则中心像素被设为前景。

效果：前景物体扩张，孔洞缩小，断裂部分被连接。

4.5.3 应用对比

操作	典型应用
腐蚀	去除小噪声点；分离相连物体；细化轮廓；
膨胀	连接断裂部分；增强轮廓

4.5.4 代码示例：

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // 1. 读取图像并转为二值图（简化演示）
    Mat src = imread("test.jpg", IMREAD_GRAYSCALE);
    if (src.empty()) {
        cout << "无法读取图像！" << endl;
        return -1;
    }
    
    // 二值化处理（阈值操作）
    Mat binary;
    threshold(src, binary, 127, 255, THRESH_BINARY);

    // 2. 定义结构元素（可使用矩形、椭圆或十字形）
    Mat kernel = getStructuringElement(MORPH_RECT, Size(5, 5));

    // 3. 腐蚀和膨胀操作
    Mat eroded, dilated;
    erode(binary, eroded, kernel);       // 腐蚀
    dilate(binary, dilated, kernel);     // 膨胀

    // 4. 高级形态学操作（开运算和闭运算）
    Mat opened, closed;
    morphologyEx(binary, opened, MORPH_OPEN, kernel);    // 开运算 = 腐蚀+膨胀
    morphologyEx(binary, closed, MORPH_CLOSE, kernel);  // 闭运算 = 膨胀+腐蚀

    // 5. 显示结果
    imshow("原图", src);
    imshow("二值图", binary);
    imshow("腐蚀", eroded);
    imshow("膨胀", dilated);
    imshow("开运算", opened);
    imshow("闭运算", closed);

    // 6. 保存结果
    imwrite("eroded.jpg", eroded);
    imwrite("dilated.jpg", dilated);

    waitKey(0);
    return 0;
}