opencv学习：图像拼接及完整代码实现

概念

图像拼接是计算机视觉领域中的一项技术，它涉及将多个图像合并成一个连续的、无缝的全景图像。在OpenCV中，图像拼接通常包括以下几个关键步骤：

1. 编写代码

导入必要的库 ：导入sys、cv2和numpy库。

定义显示图像的函数 ：编写cv_show函数，用于在窗口中显示图像。

python 复制代码

import sys
import cv2
import numpy as np
# 显示图像的函数
def cv_show(name,img):
    cv2.imshow(name,img)
    cv2.waitKey(0)

定义检测关键点和计算描述符的函数 ：编写detectAndDescribe函数，使用SIFT算法检测图像中的关键点并计算描述符。

python 复制代码

# 检测关键点并计算描述符的函数
def detectAndDescribe(image):
    gray=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
    desciiptor=cv2.SIFT_create()#创建SIFT描述
    #检测关键点并计算描述符
    (kps,des)=desciiptor.detectAndCompute(gray,None)#kps 是检测到的关键点的列表，des 是关键点的描述符矩阵。
    kps_float=np.float32([kp.pt for kp in kps])#转换关键点坐标为浮点数：
    return (kps,kps_float,des)

2. 读取图像

使用cv2.imread函数读取left.jpg和right.jpg图像。
python 复制代码
```
imageA=cv2.imread('left.jpg')
imageB=cv2.imread('right.jpg')
```

3. 检测关键点和计算描述符

对两幅图像分别调用detectAndDescribe函数，获取关键点和描述符。

python 复制代码

#检测关键点并计算描述符
(kpsA,kps_floatA,desA)=detectAndDescribe(imageA)
(kpsB,kps_floatB,desB)=detectAndDescribe(imageB)

4. 特征匹配

创建匹配器 ：使用cv2.BFMatcher创建暴力匹配器。
进行K近邻匹配：对两幅图像的描述符进行K近邻匹配，获取匹配点对。

筛选好的匹配点 ：使用Lowe's ratio test筛选出好的匹配点。

python 复制代码

#创建匹配器
matcher=cv2.BFMatcher()
#进行K近邻匹配
rawMatches=matcher.knnMatch(desB,desA,2)
good=[]
matches=[]
for m in rawMatches:

    if len(m)==2 and m[0].distance<0.65*m[1].distance:
        good.append(m)
        matches.append((m[0].trainIdx,m[0].queryIdx))

5. 计算单应性矩阵

检查匹配点数量：如果匹配点数量大于4，则继续；否则，程序退出。

计算单应性矩阵 ：使用cv2.findHomography函数和RANSAC算法计算匹配点之间的单应性矩

python 复制代码

#左侧连接
# 如果匹配点足够多，则进行下一步
if len(matches)>4:
    ptsA=np.float32([kps_floatA[i] for (i,_) in matches])
    ptsB=np.float32([kps_floatB[i] for (_,i) in matches])
    # 使用RANSAC算法计算单应性矩阵
    (H,mask)=cv2.findHomography(ptsB,ptsA,cv2.RANSAC,10)
else:
    sys.exit()

阵。

6. 图像变换和拼接

应用单应性矩阵 ：使用cv2.warpPerspective函数对右图进行透视变换。
显示变换后的图像 ：调用cv_show函数显示变换后的图像。
拼接图像：将左图拼接到变换后的右图上。

显示最终结果 ：调用cv_show函数显示最终的拼接结果。

python 复制代码

# 应用单应性矩阵进行透视变换
result=cv2.warpPerspective(imageB,H,(imageB.shape[1]+imageA.shape[1],imageB.shape[0]))
cv_show('resultB',result)
# 将左图拼接到结果图像上
result[0:imageA.shape[0],0:imageA.shape[1]]=imageA
cv_show('result',result)

7. 可视化匹配的关键点

python 复制代码

# 使用drawMatchesKnn函数绘制匹配的关键点
vis=cv2.drawMatchesKnn(imageB,kpsB,imageA,kpsA,good,None,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv_show('keypoint',vis)

运行结果

完整代码

python 复制代码

# 图像拼接
import sys
import cv2
import numpy as np
# 显示图像的函数
def cv_show(name,img):
    cv2.imshow(name,img)
    cv2.waitKey(0)

# 检测关键点并计算描述符的函数
def detectAndDescribe(image):
    gray=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
    desciiptor=cv2.SIFT_create()#创建SIFT描述
    #检测关键点并计算描述符
    (kps,des)=desciiptor.detectAndCompute(gray,None)#kps 是检测到的关键点的列表，des 是关键点的描述符矩阵。
    kps_float=np.float32([kp.pt for kp in kps])#转换关键点坐标为浮点数：
    return (kps,kps_float,des)

imageA=cv2.imread('left.jpg')
imageB=cv2.imread('right.jpg')
#检测关键点并计算描述符
(kpsA,kps_floatA,desA)=detectAndDescribe(imageA)
(kpsB,kps_floatB,desB)=detectAndDescribe(imageB)
#创建匹配器
matcher=cv2.BFMatcher()
#进行K近邻匹配
rawMatches=matcher.knnMatch(desB,desA,2)
good=[]
matches=[]
for m in rawMatches:

    if len(m)==2 and m[0].distance<0.65*m[1].distance:
        good.append(m)
        matches.append((m[0].trainIdx,m[0].queryIdx))
# print(len(good))
# print(matches)
# 使用drawMatchesKnn函数绘制匹配的关键点
vis=cv2.drawMatchesKnn(imageB,kpsB,imageA,kpsA,good,None,flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv_show('keypoint',vis)
#左侧连接
# 如果匹配点足够多，则进行下一步
if len(matches)>4:
    ptsA=np.float32([kps_floatA[i] for (i,_) in matches])
    ptsB=np.float32([kps_floatB[i] for (_,i) in matches])
    # 使用RANSAC算法计算单应性矩阵
    (H,mask)=cv2.findHomography(ptsB,ptsA,cv2.RANSAC,10)
else:
    sys.exit()
# 应用单应性矩阵进行透视变换
result=cv2.warpPerspective(imageB,H,(imageB.shape[1]+imageA.shape[1],imageB.shape[0]))
cv_show('resultB',result)
# 将左图拼接到结果图像上
result[0:imageA.shape[0],0:imageA.shape[1]]=imageA
cv_show('result',result)