【python】OpenCV—Scanner

文章目录

• 1、需求描述
• 2、代码实现
• 3、涉及到的库函数
• • cv2.arcLength
  • cv2.approxPolyDP
  • skimage.filters.threshold_local
  • imutils.grab_contours
• 4、完整代码
• 5、参考

1、需求描述

输入图片

扫描得到如下的结果

用OpenCV构建文档扫描仪只需三个简单步骤:

1.边缘检测

2.使用图像中的边缘来找到代表被扫描纸张的轮廓。

3.应用透视变换来获得文档的自顶向下视图。

2、代码实现

导入必要的包

from skimage.filters import threshold_local
import numpy as np
import argparse
import cv2
import imutils

初始化一个坐标列表，该列表中的第一个元素是左上，第二个元素是右上，第三个元素是右下，第四个元素是左下

该坐标排序方法有缺陷，具体可参考 【python】OpenCV---Coordinates Sorted Clockwise

def order_points(pts):
	rect = np.zeros((4, 2), dtype = "float32")
	# 左上角点的和最小，然而右下角的点的和最大
	s = pts.sum(axis = 1)
	rect[0] = pts[np.argmin(s)]
	rect[2] = pts[np.argmax(s)]
	# 现在，计算点之间的差值，右上角的差值最小，而左下角的差值最大
	diff = np.diff(pts, axis = 1)
	rect[1] = pts[np.argmin(diff)]
	rect[3] = pts[np.argmax(diff)]
	# 返回有序坐标
	return rect


def four_point_transform(image, pts):
	# 获得点的一致顺序，并将它们分别拆封
	rect = order_points(pts)
	(tl, tr, br, bl) = rect
	# 计算新图像的宽度，这将是右下角和左下角x坐标或右上角和左上角x坐标之间的最大距离
	widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
	widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
	maxWidth = max(int(widthA), int(widthB))
	# 计算新图像的高度，这将是右上角和右下角y坐标或左上角和左下角y坐标之间的最大距离
	heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
	heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
	maxHeight = max(int(heightA), int(heightB))
	# 现在我们有了新图像的维数，构建目标点集以获得图像的"鸟瞰视图"(即自顶向下视图)，再次指定左上、右上、右下和左下顺序中的点
	dst = np.array([
		[0, 0],
		[maxWidth - 1, 0],
		[maxWidth - 1, maxHeight - 1],
		[0, maxHeight - 1]], dtype = "float32")
	# 计算透视变换矩阵，然后应用它
	M = cv2.getPerspectiveTransform(rect, dst)
	warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
	# 返回变换后的图像
	return warped

构造参数解析器并解析参数

ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required = True, default="1.jpg",
				help = "Path to the image to be scanned")
args = vars(ap.parse_args())


# 加载图像并计算旧高度与新高度的比率，克隆它，并调整它的大小
image = cv2.imread(args["image"])


ratio = image.shape[0] / 500.0
orig = image.copy()
image = imutils.resize(image, height=500)

# ratio = 1.0
# orig = image.copy()


# 将图像转换为灰度，模糊它，并在图像中找到边缘
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv2.imwrite("gray.jpg", gray)

gray = cv2.GaussianBlur(gray, (7, 7), 0)
cv2.imwrite("GaussianBlur.jpg", gray)

这里 kernel size 需要设置大一些，不然很容易检测到发票上的黑色字体为轮廓了

edged = cv2.Canny(gray, 75, 200)
cv2.imwrite("Canny.jpg", edged)

显示原始图像和边缘检测图像

print("STEP 1: Edge Detection")
cv2.imshow("Image", image)
cv2.imshow("Edged", edged)
cv2.waitKey(0)

找到边缘图像中的轮廓，只保留最大的轮廓，并初始化屏幕轮廓

cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]
# 循环迭代所有轮廓
for c in cnts:
	# 近似轮廓
	peri = cv2.arcLength(c, True)
	approx = cv2.approxPolyDP(c, 0.02 * peri, True)
	# cv2.drawContours(image, c, -1, (0, 0, 255), 3)
	# 如果我们的近似轮廓有4个点，那么我们可以假设我们已经找到了我们的屏幕
	if len(approx) == 4:
		screenCnt = approx
		break

# 画出这张票的轮廓
print("STEP 2: Find contours of paper")
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv2.imshow("Outline", image)
cv2.waitKey(0)

# 应用四点变换获得原始图像自上而下的视图
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv2.imwrite("warped.jpg", warped)

# 将变换后的图像转换为灰度，然后使用阈值给它"黑白"纸的效果
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
cv2.imwrite("warped_gray.jpg", warped)

T = threshold_local(warped, 11, offset = 10, method = "gaussian")
warped = (warped > T).astype("uint8") * 255
cv2.imwrite("warped_threshold_local.jpg", warped)

# 显示原始和扫描图像
print("STEP 3: Apply perspective transform")
cv2.imshow("Original", imutils.resize(orig, height = 650))
cv2.imshow("Scanned", imutils.resize(warped, height = 650))
cv2.waitKey(0)

再来个例子

输入图片

输出结果

3、涉及到的库函数

cv2.arcLength

cv2.arcLength 是 OpenCV（Open Source Computer Vision Library）库中的一个函数，用于计算多边形的周长或轮廓的弧长。这个函数在处理图像中的形状分析、轮廓检测等任务时非常有用。它接受一个轮廓（轮廓是一系列的点，通常通过边缘检测或轮廓查找算法获得）作为输入，并返回该轮廓的周长。

length = cv2.arcLength(contour, True)

• contour：输入轮廓，应该是一个点集（通常是numpy.ndarray类型），这些点定义了轮廓的形状。

• 第二个参数是True或False，指定轮廓是否应该被近似为闭合的（通过连接轮廓的第一个点和最后一个点）。如果轮廓已经是闭合的，或者你不关心轮廓是否闭合，可以传递True。如果轮廓不是闭合的，但你不希望它被视为闭合的，应该传递False。注意，这个参数在一些版本的OpenCV中可能不是必需的，或者默认值为True。

返回值

• length：返回轮廓的周长或弧长，类型为浮点数。

cv2.approxPolyDP

cv2.approxPolyDP 是 OpenCV 库中的一个函数，用于对轮廓或曲线进行多边形逼近。该函数使用 Douglas-Peucker 算法来减少表示轮廓或曲线所需的点数，同时尽可能保持其形状特征。这个功能在图像处理、计算机视觉和机器学习等领域中非常有用，特别是在处理轮廓检测、形状分析等方面。

approx = cv2.approxPolyDP(curve, epsilon, closed)

• curve：要逼近的曲线或轮廓，可以是二维点的列表或 NumPy 数组。
• epsilon：逼近精度。这是一个距离值，表示原始曲线上的点与逼近后的多边形之间的最大距离。epsilon 的值越小，逼近结果越精确，但所需的点数也可能越多。
• closed：一个布尔值，指定逼近后的多边形是否闭合。如果为 True，则逼近后的多边形是闭合的；如果为 False，则逼近结果可能不是闭合的。

返回值

• approx：逼近后的多边形，以二维点的列表或 NumPy 数组的形式返回。

需要注意的是，epsilon 的值是一个权衡参数，需要根据具体应用进行调整。较小的 epsilon 值会产生更精确的逼近结果，但可能会增加计算复杂性和所需的存储空间。较大的 epsilon 值则会产生更简单的逼近结果，但可能会损失一些形状细节。因此，在实际应用中，需要根据具体需求来选择合适的 epsilon 值。

skimage.filters.threshold_local

skimage.filters.threshold_local 是 scikit-image 库中的一个函数，用于对图像进行局部阈值处理。与全局阈值处理（如使用固定的阈值来分割图像）不同，局部阈值处理会考虑图像中的每个像素及其邻域，从而根据局部区域的统计特性（如亮度或对比度）动态地确定阈值。这种方法在处理光照不均或具有不同亮度水平的图像时特别有用。

skimage.filters.threshold_local(image, block_size, method='gaussian', offset=0, mode='reflect', param=None, cval=0, **kwargs)

参数说明

• image：输入图像，通常是灰度图像。
• block_size：用于计算局部阈值的邻域大小（以像素为单位）。较大的块大小会增加计算成本，但可能会更好地适应图像中的光照变化。
• method：确定如何计算局部阈值的方法。'gaussian'（默认）使用高斯加权窗口，'mean'使用简单的平均值，'median'使用中位数。
• offset：从计算出的局部阈值中减去的值。这可以用来调整最终的阈值水平。
• mode：用于填充图像边界之外的值的方法。这可以是 'constant'、'nearest'、'reflect' 或 'wrap' 中的一个。
• param：某些方法（如'gaussian'）可能接受额外的参数。对于 'gaussian' 方法，param 可以是标准差（sigma），但在 threshold_local 函数中，这通常不是必需的，因为高斯权重是通过 block_size 隐式确定的。
• cval：当 mode='constant' 时，用于填充图像边界之外的值的常量值。
• **kwargs：传递给 method 函数的额外关键字参数（如果有的话）。

返回值

• 返回一个浮点数，表示计算出的局部阈值，或者一个与输入图像形状相同的数组，其中包含了每个像素的局部阈值（如果 method='multi'）。然而，注意 threshold_local 默认并不直接返回这样的数组；它返回的是一个单一的阈值，用于后续操作（如 threshold_local 通常会与 apply_threshold 或类似的函数结合使用来分割图像）。

imutils.grab_contours

imutils.grab_contours 是 imutils 库中的一个函数，该库是一个为OpenCV提供便利函数的Python库，旨在简化图像处理任务。在OpenCV中，特别是在使用cv2.findContours函数时，返回的轮廓信息可能会根据OpenCV的版本（主要是3.x和4.x版本之间）而有所不同。在OpenCV 3.x中，cv2.findContours返回三个值：图像、轮廓、和轮廓的层次结构。而在OpenCV 4.x中，它只返回两个值：轮廓和轮廓的层次结构。

imutils.grab_contours函数就是为了解决这种版本差异而设计的。它接受cv2.findContours的输出，并始终返回轮廓列表，无论OpenCV的版本如何。这样，开发者就可以编写不依赖于特定OpenCV版本的代码。

假设你正在使用OpenCV来检测图像中的轮廓，你可能会写出如下代码：

import cv2  
import imutils  
  
# 读取图像  
image = cv2.imread('path_to_image.jpg')  
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)  
blurred = cv2.GaussianBlur(gray, (5, 5), 0)  
edged = cv2.Canny(blurred, 30, 150)  
  
# 在OpenCV 4.x中，cv2.findContours返回两个值  
contours, hierarchy = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)  
  
# 使用imutils.grab_contours来获取轮廓  
contours = imutils.grab_contours(contours)  
  
# 现在，无论你的OpenCV版本是什么，contours都是一个轮廓列表  
# 接下来，你可以使用这些轮廓进行进一步的处理，比如绘制轮廓等  
cv2.drawContours(image, contours, -1, (0, 255, 0), 2)  
  
# 显示图像  
cv2.imshow("Image", image)  
cv2.waitKey(0)  
cv2.destroyAllWindows()

请注意，如果你正在使用OpenCV 3.x，cv2.findContours实际上会返回三个值，但imutils.grab_contours函数会忽略第一个返回值（通常是原始图像，但在这个上下文中并不重要），并只返回轮廓列表。这使得你的代码更加健壮，因为它不依赖于OpenCV的特定版本。

4、完整代码

# 导入必要的包
from skimage.filters import threshold_local
import numpy as np
import argparse
import cv2
import imutils

def order_points(pts):
	# 初始化一个坐标列表，该列表中的第一个元素是左上，第二个元素是右上，第三个元素是右下，第四个元素是左下
	rect = np.zeros((4, 2), dtype = "float32")
	# 左上角点的和最小，然而右下角的点的和最大
	s = pts.sum(axis = 1)
	rect[0] = pts[np.argmin(s)]
	rect[2] = pts[np.argmax(s)]
	# 现在，计算点之间的差值，右上角的差值最小，而左下角的差值最大
	diff = np.diff(pts, axis = 1)
	rect[1] = pts[np.argmin(diff)]
	rect[3] = pts[np.argmax(diff)]
	# 返回有序坐标
	return rect


def four_point_transform(image, pts):
	# 获得点的一致顺序，并将它们分别拆封
	rect = order_points(pts)
	(tl, tr, br, bl) = rect
	# 计算新图像的宽度，这将是右下角和左下角x坐标或右上角和左上角x坐标之间的最大距离
	widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
	widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
	maxWidth = max(int(widthA), int(widthB))
	# 计算新图像的高度，这将是右上角和右下角y坐标或左上角和左下角y坐标之间的最大距离
	heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
	heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
	maxHeight = max(int(heightA), int(heightB))
	# 现在我们有了新图像的维数，构建目标点集以获得图像的"鸟瞰视图"(即自顶向下视图)，再次指定左上、右上、右下和左下顺序中的点
	dst = np.array([
		[0, 0],
		[maxWidth - 1, 0],
		[maxWidth - 1, maxHeight - 1],
		[0, maxHeight - 1]], dtype = "float32")
	# 计算透视变换矩阵，然后应用它
	M = cv2.getPerspectiveTransform(rect, dst)
	warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
	# 返回变换后的图像
	return warped


# 构造参数解析器并解析参数
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required = True, default="1.jpg",
				help = "Path to the image to be scanned")
args = vars(ap.parse_args())


# 加载图像并计算旧高度与新高度的比率，克隆它，并调整它的大小
image = cv2.imread(args["image"])


ratio = image.shape[0] / 500.0
orig = image.copy()
image = imutils.resize(image, height=500)

# ratio = 1.0
# orig = image.copy()


# 将图像转换为灰度，模糊它，并在图像中找到边缘
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
cv2.imwrite("gray.jpg", gray)

gray = cv2.GaussianBlur(gray, (7, 7), 0)
cv2.imwrite("GaussianBlur.jpg", gray)

edged = cv2.Canny(gray, 75, 200)
cv2.imwrite("Canny.jpg", edged)

# 显示原始图像和边缘检测图像
print("STEP 1: Edge Detection")
cv2.imshow("Image", image)
cv2.imshow("Edged", edged)
cv2.waitKey(0)

# 找到边缘图像中的轮廓，只保留最大的轮廓，并初始化屏幕轮廓
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
cnts = sorted(cnts, key = cv2.contourArea, reverse = True)[:5]
# 循环迭代所有轮廓
for c in cnts:
	# 近似轮廓
	peri = cv2.arcLength(c, True)
	approx = cv2.approxPolyDP(c, 0.02 * peri, True)
	# cv2.drawContours(image, c, -1, (0, 0, 255), 3)
	# 如果我们的近似轮廓有4个点，那么我们可以假设我们已经找到了我们的屏幕
	if len(approx) == 4:
		screenCnt = approx
		break

# 画出这张票的轮廓
print("STEP 2: Find contours of paper")
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv2.imshow("Outline", image)
cv2.waitKey(0)

# 应用四点变换获得原始图像自上而下的视图
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv2.imwrite("warped.jpg", warped)

# 将变换后的图像转换为灰度，然后使用阈值给它"黑白"纸的效果
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
cv2.imwrite("warped_gray.jpg", warped)


T = threshold_local(warped, 11, offset = 10, method = "gaussian")
warped = (warped > T).astype("uint8") * 255
cv2.imwrite("warped_threshold_local.jpg", warped)

# 显示原始和扫描图像
print("STEP 3: Apply perspective transform")
cv2.imshow("Original", imutils.resize(orig, height = 650))
cv2.imshow("Scanned", imutils.resize(warped, height = 650))
cv2.waitKey(0)

5、参考

参考学习来自 imutils基础（4）构建一个文档扫描仪