OpenCV 实战：文档扫描与神经风格迁移完整指南

1. 引言

OpenCV 作为计算机视觉领域最流行的开源库之一，提供了丰富的图像处理与深度学习推理能力。本文基于两段实战代码，系统讲解两个经典应用场景：一是通过摄像头实时检测并矫正文档，完成透视变换与二值化处理；二是利用 OpenCV 的 DNN 模块加载 PyTorch 训练的风格迁移模型，将普通照片转换为艺术风格图像。通过本文，你将掌握轮廓检测、透视变换、图像预处理以及深度学习模型推理的完整流程。

本文适合有一定 Python 基础、希望深入理解 OpenCV 图像处理与深度学习推理的开发者阅读。代码均基于 OpenCV 4.x 编写，可直接复制运行。

2. 环境准备与基础工具函数

在开始之前，请确保已安装 OpenCV 和 NumPy 库。推荐使用 Python 3.7 及以上版本，并通过 pip 安装依赖：

bash 复制代码

pip install opencv-python numpy

首先定义一个用于显示图像的辅助函数 cv_show，它调用 cv2.imshow 显示图像，并通过 cv2.waitKey(1) 等待键盘输入，使窗口能够实时刷新。这在摄像头实时处理场景中尤为重要，因为 waitKey(0) 会阻塞程序直到用户按键，而 waitKey(1) 只等待 1 毫秒，适合视频流处理。

python 复制代码

import cv2
import numpy as np
def cv_show(name, img):
cv2.imshow(name, img)
cv2.waitKey(1)

接下来定义 order_points 函数，它的作用是对检测到的四个角点进行排序，使其按照「左上、右上、右下、左下」的顺序排列。排序原理是：左上角点的坐标和最小，右下角点的坐标和最大；右上角点的坐标差（y 减 x）最小，左下角点的坐标差最大。这一排序是后续透视变换正确执行的前提。

python 复制代码

def order_points(pts):
    rect = np.zeros((4, 2), dtype='float32')
    s = pts.sum(axis=1)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]
    diff = np.diff(pts, axis=1)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]
    return rect

3. 透视变换原理与实现

透视变换（Perspective Transform）是将图像从一个平面投影到另一个平面的几何变换。与仿射变换不同，透视变换可以处理图像中因拍摄角度造成的形变，例如从侧面拍摄的文档、路牌或屏幕。其核心思想是通过四个对应的点对求解一个 3×3 的变换矩阵，然后将原图像映射到目标平面。

four_point_transform 函数接收原始图像和四个角点，首先调用 order_points 对点进行排序，然后计算变换后图像的宽度和高度。宽度取上边和下边长度的较大值，高度取左边和右边长度的较大值，这样可以避免因透视形变导致的尺寸失真。

python 复制代码

def four_point_transform(image, pts):
    rect = order_points(pts)
    (tl, tr, br, bl) = rect
    # 计算输入的 w 和 h 值
    widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    maxWidth = max(int(widthA), int(widthB))
    heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightA), int(heightB))
    # 变换后对应坐标位置
    dst = np.array([[0, 0], [maxWidth - 1, 0],
                    [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    return warped

这里 cv2.getPerspectiveTransform 根据源点和目标点计算变换矩阵 M，cv2.warpPerspective 则利用该矩阵对图像进行重映射。目标点坐标从 (0,0) 到 (maxWidth-1, maxHeight-1)，确保输出图像恰好包含整个文档区域。

4. 摄像头实时文档检测

文档检测的核心思路是：从摄像头读取每一帧图像，经过灰度化、高斯模糊、边缘检测后提取轮廓，再通过轮廓近似找到面积足够大且具有四个顶点的轮廓，将其视为文档边界，最后进行透视变换矫正。

4.1 初始化摄像头

使用 cv2.VideoCapture(0) 打开默认摄像头。如果摄像头无法打开，程序会打印提示信息并退出。在循环中，通过 cap.read() 读取每一帧，返回的 ret 表示是否成功读取，image 为当前帧图像。

python 复制代码

import cv2
cap = cv2.VideoCapture(0)
if not cap.isOpened():
    print('cannot open camera')
    exit()
while True:
    flag = 0  # 用于标识当前是否检测到文档
    ret, image = cap.read()
    orig = image.copy()
    if not ret:
        print("不能读取摄像头")
        break
    cv_show("image", image)

4.2 图像预处理与边缘检测

每一帧图像首先转换为灰度图，然后使用 5×5 的高斯核进行模糊处理以抑制噪声，最后通过 Canny 边缘检测算法提取图像中的边缘信息。Canny 算法的阈值设置为 15 和 45，较低的阈值可以检测到更多细节边缘，适合文档这类具有明显边界的物体。

python 复制代码

gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)
edged = cv2.Canny(gray, 15, 45)
cv_show('1', edged)

4.3 轮廓检测与排序

使用 cv2.findContours 从边缘图像中提取轮廓，参数 RETR_EXTERNAL 表示只检测最外层轮廓，CHAIN_APPROX_SIMPLE 表示压缩水平、垂直和对角方向的元素，只保留端点。随后按轮廓面积从大到小排序，只保留面积最大的前三个轮廓，以减少计算量并排除干扰。

python 复制代码

cnts = cv2.findContours(edged, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[:3]
image_contours = cv2.drawContours(image, cnts, -1, (0, 255, 0), 2)
cv_show("image_contours", image_contours)

4.4 轮廓近似与文档判定

遍历排序后的轮廓，使用 cv2.approxPolyDP 进行轮廓近似。该函数通过 Douglas-Peucker 算法，用更少的点逼近原始轮廓，epsilon 参数设置为轮廓周长的 5%，表示允许的最大逼近误差。当近似结果恰好有 4 个顶点且面积大于 30000 像素时，判定为文档区域。

python 复制代码

for c in cnts:
    peri = cv2.arcLength(c, True)  # 计算轮廓的周长
    approx = cv2.approxPolyDP(c, 0.05 * peri, True)  # 轮廓近似
    area = cv2.contourArea(approx)
    # 4 个点的时候就拿出来
    if area > 30000 and len(approx) == 4:
        screenCnt = approx
        flag = 1
        print(peri, area)
        print('检测文档')
        break

面积阈值 30000 是一个经验值，用于过滤掉小面积的干扰轮廓。读者可以根据实际摄像头分辨率和拍摄距离调整该值。如果检测到文档，flag 被置为 1，并跳出循环。

4.5 透视变换与二值化输出

检测到文档后，首先在原图上绘制绿色轮廓线以可视化结果，然后调用 four_point_transform 对原始图像（注意是 orig 而非处理后的 image）进行透视矫正。矫正后的图像转换为灰度图，并通过阈值分割得到黑白二值图，便于后续 OCR 或打印。

python 复制代码

if flag == 1:
    image_contours = cv2.drawContours(image, [screenCnt], 0, (0, 255, 0), 2)
    cv_show('image', image_contours)
    # 透视变换
    warped = four_point_transform(orig, screenCnt.reshape(4, 2))
    cv_show("warped", warped)
    warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
    ref = cv2.threshold(warped, 135, 255, cv2.THRESH_BINARY)[1]
    cv_show("ref", ref)
cap.release()
cv2.destroyAllWindows()

这里使用固定阈值 135 进行二值化。对于光照不均匀的场景，可以改用 Otsu 自适应阈值（cv2.THRESH_OTSU），它会根据图像灰度分布自动计算最优阈值，效果通常更好。

5. OpenCV DNN 模块与风格迁移

OpenCV 3.3 之后集成了 DNN（Deep Neural Network）模块，可以直接加载 Caffe、TensorFlow、Torch、Darknet、ONNX 等框架训练好的模型进行推理，无需依赖深度学习框架本身。这使得在纯 OpenCV 环境下部署深度学习模型成为可能。

5.1 读取输入图像

首先使用 cv2.imread 读取一张待处理的照片，并通过 cv2.imshow 显示原始图像。注意 OpenCV 读取的图像通道顺序是 BGR，而大多数深度学习模型训练时使用的是 RGB 顺序，因此后续需要根据模型要求决定是否交换通道。

python 复制代码

import cv2
image = cv2.imread('txbb.jpg')
cv2.imshow('yuantu', image)
cv2.waitKey(0)

5.2 图像预处理：blobFromImage

cv2.dnn.blobFromImage 是 DNN 模块中最常用的图像预处理函数，它将原始图像转换为符合神经网络输入格式的四维张量（blob）。其参数含义如下：

image：输入图像。
scalefactor：像素缩放因子，每个像素值乘以该因子，默认为 1。
size：输出 blob 的宽高，即网络期望的输入尺寸。
mean：从每个通道减去的均值，用于归一化。(0,0,0) 表示不进行均值减法。
swapRB：是否交换 R 和 B 通道。OpenCV 默认 BGR 顺序，若模型使用 RGB 顺序则设为 True。
crop：是否在调整大小后进行居中裁剪。

python 复制代码

(h, w) = image.shape[:2]
blob = cv2.dnn.blobFromImage(image, 1, (w, h), (0, 0, 0), swapRB=False, crop=False)

这里将 blob 的尺寸设置为原始图像的宽高，意味着不进行缩放，保持原始分辨率。对于风格迁移任务，通常希望输出与输入相同尺寸的图像，因此这种设置是合理的。

5.3 加载 Torch 模型

使用 cv2.dnn.readNet 加载模型。该函数支持多种框架格式，通过文件扩展名自动推断框架类型。本文加载的是 PyTorch 训练的风格迁移模型 starry_night.t7，该模型基于 Johnson 等人提出的感知损失风格迁移方法训练，能够将输入照片转换为梵高《星空》的艺术风格。

python 复制代码

net = cv2.dnn.readNet(r"model\starry_night.t7")

下表总结了 readNet 支持的模型格式与对应参数：

model 参数	config 参数	framework 参数	函数名称
*.caffemodel	*.prototxt	caffe	readNetFromCaffe
*.pb	*.pbtxt	tensorflow	readNetFromTensorFlow
*.t7	*.net	torch	readNetFromTorch
*.weights	*.cfg	darknet	readNetFromDarknet
*.bin	*.xml	dldt	readNetFromModelOptimizer
*.onnx	---	onnx	readNetFromONNX

5.4 前向传播与输出处理

将预处理后的 blob 输入网络，调用 net.forward() 执行前向传播，得到输出张量。输出是四维数据，布局为 N×C×H×W，分别表示批量大小、通道数、高度和宽度。由于批量大小为 1，需要将输出重塑为三维 CHW 格式，再通过 transpose 将通道维移到最后，得到 H×W×C 的图像格式，以便 cv2.imshow 显示。

python 复制代码

net.setInput(blob)
out = net.forward()
# 输出处理：4 维变 3 维，调整为 CHW 形式
out_new = out.reshape(out.shape[1], out.shape[2], out.shape[3])
result = out_new.transpose(1, 2, 0)
cv2.imshow('new image', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

值得注意的是，风格迁移模型的输出值范围通常在 0 到 255 之间，但部分模型可能输出浮点数，直接显示可能出现全黑或全白的情况。如果遇到此类问题，可以使用 cv2.normalize 或手动将像素值裁剪到 0-255 范围。

6. 完整代码整合与运行说明

为了方便读者运行，这里将文档检测的完整代码整合如下。运行前请确保摄像头可用，并将文档放置在摄像头视野内。程序会实时显示处理过程中的各个阶段图像，包括原始帧、边缘图、轮廓图和矫正后的二值图。

python 复制代码

import cv2
import numpy as np
def cv_show(name, img):
cv2.imshow(name, img)
cv2.waitKey(1)
def order_points(pts):
rect = np.zeros((4, 2), dtype='float32')
s = pts.sum(axis=1)
rect[0] = pts[np.argmin(s)]
rect[2] = pts[np.argmax(s)]
diff = np.diff(pts, axis=1)
rect[1] = pts[np.argmin(diff)]
rect[3] = pts[np.argmax(diff)]
return rect
def four_point_transform(image, pts):
rect = order_points(pts)
(tl, tr, br, bl) = rect
widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
maxWidth = max(int(widthA), int(widthB))
heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
maxHeight = max(int(heightA), int(heightB))
dst = np.array([[0, 0], [maxWidth - 1, 0],
[maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")
M = cv2.getPerspectiveTransform(rect, dst)
warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
return warped
cap = cv2.VideoCapture(0)
if not cap.isOpened():
print('cannot open camera')
exit()
while True:
flag = 0
ret, image = cap.read()
orig = image.copy()
if not ret:
print("不能读取摄像头")
break
cv_show("image", image)
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)
edged = cv2.Canny(gray, 15, 45)
cv_show('1', edged)
cnts = cv2.findContours(edged, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[:3]
image_contours = cv2.drawContours(image, cnts, -1, (0, 255, 0), 2)
cv_show("image_contours", image_contours)
for c in cnts:
peri = cv2.arcLength(c, True)
approx = cv2.approxPolyDP(c, 0.05 * peri, True)
area = cv2.contourArea(approx)
if area > 30000 and len(approx) == 4:
screenCnt = approx
flag = 1
print(peri, area)
print('检测文档')
break
if flag == 1:
image_contours = cv2.drawContours(image, [screenCnt], 0, (0, 255, 0), 2)
cv_show('image', image_contours)
warped = four_point_transform(orig, screenCnt.reshape(4, 2))
cv_show("warped", warped)
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 135, 255, cv2.THRESH_BINARY)[1]
cv_show("ref", ref)
cap.release()
cv2.destroyAllWindows()

风格迁移部分的完整代码同样整合如下。运行前请确保 txbb.jpg 图片和 starry_night.t7 模型文件位于正确路径。模型文件可以从 Torch 官方模型库或 GitHub 开源项目下载。

python 复制代码

import cv2
image = cv2.imread('txbb.jpg')
cv2.imshow('yuantu', image)
cv2.waitKey(0)
(h, w) = image.shape[:2]
blob = cv2.dnn.blobFromImage(image, 1, (w, h), (0, 0, 0), swapRB=False, crop=False)
net = cv2.dnn.readNet(r"model\starry_night.t7")
net.setInput(blob)
out = net.forward()
out_new = out.reshape(out.shape[1], out.shape[2], out.shape[3])
result = out_new.transpose(1, 2, 0)
cv2.imshow('new image', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

7. 常见问题与优化建议

在实际运行过程中，读者可能会遇到一些问题，这里给出常见问题的排查思路与优化建议。

7.1 文档检测不到或检测不稳定

如果文档无法被稳定检测，可以从以下几个方面排查：一是调整 Canny 边缘检测的阈值，过高的阈值会丢失边缘信息，过低则会产生大量噪声；二是调整轮廓近似的 epsilon 参数，0.05 倍周长是一个经验值，对于弯曲或变形的文档可以适当增大；三是调整面积阈值 30000，如果摄像头分辨率较高或文档较远，需要相应增大该值。

7.2 透视变换后图像方向错误

如果矫正后的图像出现旋转 90 度或镜像的情况，通常是角点排序出现问题。可以打印 order_points 返回的四个点坐标进行排查，确认排序逻辑是否符合预期。对于极端拍摄角度，也可以考虑使用更鲁棒的排序算法，例如基于凸包和质心的方法。

7.3 风格迁移输出图像异常

如果风格迁移输出全黑或全白，通常是像素值范围问题。Torch 模型输出的像素值可能为浮点数且范围不在 0-255 之间，可以使用 cv2.normalize(result, None, 0, 255, cv2.NORM_MINMAX) 进行归一化，或手动裁剪：result = np.clip(result, 0, 255).astype(np.uint8)。

7.4 性能优化

摄像头实时处理对性能要求较高。可以降低处理帧的分辨率、缩小 Canny 检测的图像尺寸，或使用 cv2.setNumThreads 调整 OpenCV 线程数。对于风格迁移，可以先将输入图像缩小到较小尺寸（如 512×512）进行推理，再放大回原始尺寸，以显著提升处理速度。

8. 总结

本文通过两个完整的实战案例，系统讲解了 OpenCV 在文档扫描和神经风格迁移两大场景中的应用。在文档扫描部分，我们掌握了从摄像头读取帧、图像预处理、边缘检测、轮廓提取、轮廓近似到透视变换的完整流程，最终实现了文档的实时矫正与二值化。在风格迁移部分，我们学习了如何使用 OpenCV DNN 模块加载 PyTorch 模型，通过 blobFromImage 进行图像预处理，并完成前向传播与输出格式转换。

这两个案例展示了 OpenCV 的强大能力：它不仅是传统的图像处理工具库，还能作为深度学习模型的轻量级推理引擎。读者可以在此基础上进一步扩展，例如将文档扫描结果接入 OCR 引擎实现文字识别，或尝试加载其他风格迁移模型（如 la_muse.t7、composition_vii.t7）生成不同艺术风格的作品。希望本文能为你的计算机视觉学习之路提供有价值的参考。