机器学习：opencv--图像拼接

前言

一、两个函数

1.显示图像

2.计算图片特征与描述符

前言

图像拼接是一种将多张图像合成一幅大图的技术，常用于全景图生成、图像拼接和图像合成等应用场景。

一、两个函数

1.显示图像

python 复制代码

def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)

2.计算图片特征与描述符

将输入图像转换成灰度图
创建sift对象
对该灰度图进行特征检测并计算描述符
将每一个关键点的坐标装入数组
返回关键点，关键点坐标数组和描述符

python 复制代码

def detectAndDescribe(image):
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    sift = cv2.SIFT_create()
    # 检测SIFT特征点,并计算描述符,第二个参数为掩膜
    (kps, des) = sift.detectAndCompute(gray, None)
    # 将结果转換成NumPy数组
    kps_float = np.float32([kp.pt for kp in kps])
    # kp.pt 包含两个值,分别是关键点在图像中的 x 和 y 坐标。这些坐标通常是浮点数,可以精确地描述关键点在图像中的位置。
    return (kps, kps_float, des)

二、代码实例

1.准备图像

选择需要拼接的图像，确保它们之间有一定的重叠区域。

python 复制代码

import cv2
import numpy as np
import sys

"""读取拼接图片"""
imageA = cv2.imread('1.jpg')
cv_show('imageA', imageA)
imageB = cv2.imread('2.jpg')
cv_show('imageB', imageB)

输出：

2.特征检测

使用特征检测算法（如 SIFT、ORB 或 AKAZE）找到每张图像中的关键特征点。

python 复制代码

"""计算图片特征点及描述符"""
(kpsA, kps_floatA, desA) = detectAndDescribe(imageA)
(kpsB, kps_floatB, desB) = detectAndDescribe(imageB)

3.特征匹配

通过描述子匹配算法（如 BFMatcher 或 FLANN）将不同图像中的特征点进行匹配。

python 复制代码

"""建立暴力匹配器BFMatcher,在匹配大型训练集合是使用FlannBasedMatcher速度更快"""
matcher = cv2.BFMatcher()
# knnMatch(queryDescriptors,trainDescriptors,k,mask=None, compactResult=None)
# 使用KNN检测来自A、B图的SIFT特征匹配对,参数说明:
# queryDescriptors:查询图像A的描述符
# trainDescriptors:目标图像B的描述符
# k:最佳匹配的描述符个数。一般K=2.
# 返回的数据结构描述:
# distance:匹配的特征点描述符的欧式距离,数值越小也就说明个特征点越相近。
# queryIdx:查询图像的特征点描述符的下标(第几个特征点描述符),同时也是描述符对应特征点的下标。
# trainIdx:目标图像的特征点描述符下标,同时也是描述符对应特征点的下标。
# 选查询图像中的一个关键点 选目标图像中的两个点 进行判断
rawMatches = matcher.knnMatch(desB, desA, 2)
good = []  # 例如,[[m1, m2], [m3, m4], ...] 的格式,其中 m1, m2 是对应于同一关键点的两个匹配。
matches = []
for m in rawMatches:
    # 当最近距离跟次近距离的比值小于0.65值时,保留此匹配对
    if len(m) == 2 and m[0].distance < 0.65 * m[1].distance:
        good.append(m)
        # 存储两个点在featuresA,featuresB中的索引值
        matches.append((m[0].trainIdx, m[0].queryIdx))
print(len(good))
print(matches)

# 绘制k近邻匹配结果
# kp2 是要取两个关键点的图像
vis = cv2.drawMatchesKnn(imageB, kpsB, imageA, kpsA, good, None, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv_show('Keypoint Matches', vis)

输出：

4.图像变换

根据计算出的变换矩阵，将图像变换到同一平面上。

python 复制代码

"""透视变换"""
if len(matches) > 4:  # 当筛选后的匹配对大于4时,计算视角变换矩阵。
    # 获取匹配对的点坐标
    ptsA = np.float32([kps_floatA[i] for (i, _) in matches])  # matches是通过阈值筛选之后的特征点对象
    ptsB = np.float32([kps_floatB[i] for (_, i) in matches])  # kps_floatA是图片A中的全部特征点坐标
    # 计箅透视变換矩阵
    # findHomography(srcPoints, dstPoints, method=None, ransacReprojThreshold=None)
    # 计算视角变换矩阵,透视变换雨数,与cv2.getPerspectiveTransform()的区别在与可多个数据点变换
    # 参数srcPoints:选一个关键点的图
    # 参数dstPoints:选两个关键点的图
    # 參数method:计算变换矩降的方法
    # 0 - 使用所有的点,最小二乘法
    # RANSAC - 基于随机样本一致性,https://zhuanlan.zhihu.com/p/402727549
    # LMEDS - 最小中值
    # RHO - 转于浙近样本一致性
    # ransacReprojThreshold:最大允许币投影错误阀值。该参数只有在method参数为RANSAC与RHO的时启用,默认为3
    # 返回值中:h为变换矩阵、mask是掩模标志,指示哪些点对是内点、哪些是外点。 内点;指那些与估计的模型非常接近的数据点,通常是正确匹魔或真实数据。
    (H, mask) = cv2.findHomography(ptsB, ptsA, cv2.RANSAC, 10)
else:
    print('图片未找到4个以上匹配点')
    sys.exit()

输出：

5.图像融合

将变换后的图像合成在一起，可以使用加权平均、渐变等方式来平滑拼接缝隙。

python 复制代码

result = cv2.warpPerspective(imageB, H, (imageB.shape[1] + imageA.shape[1], imageB.shape[0]))
cv_show("resultB", result)
# 将图片A传入result图片最左璇
result[0:imageA.shape[0], 0:imageA.shape[1]] = imageA
cv_show("result", result)

输出：