计算机视觉案例分享之答题卡识别

目录

一、基本流程

二、代码实现

[1. 导入工具包和定义常量](#1. 导入工具包和定义常量)

[2. 辅助函数定义](#2. 辅助函数定义)

[2.1 坐标点排序函数](#2.1 坐标点排序函数)

[2.2 透视变换函数](#2.2 透视变换函数)

[2.3 轮廓排序函数](#2.3 轮廓排序函数)

[2.4 图像显示函数](#2.4 图像显示函数)

[3. 主程序处理流程](#3. 主程序处理流程)

[3.1 图像预处理](#3.1 图像预处理)

[3.2 轮廓检测与透视变换](#3.2 轮廓检测与透视变换)

[3.3 阈值处理与选项检测](#3.3 阈值处理与选项检测)

[3.4 答案识别与评分](#3.4 答案识别与评分)

---

我们拿到类似于下图的答题卡照片，我们要对其进行识别判断答案的正确与最后的评分。

OpenCV在答题卡识别中发挥着重要作用，它能够通过一系列图像处理技术，实现对答题卡的自动识别，并进行答题结果的统计。以下是一个基于OpenCV的答题卡识别的基本流程和关键步骤：

一、基本流程

1. 图片读取：首先，使用OpenCV读取答题卡的图像文件。
2. 图片预处理：对读取的图像进行预处理，包括灰度化、滤波去噪、边缘检测等，以突出答题卡中的关键信息。
3. 轮廓检测：通过轮廓检测算法，找到答题卡中各个选项或区域的轮廓。
4. 透视变换：对检测到的轮廓进行透视变换，以校正答题卡的视角，使其更加符合后续处理的需求。
5. 阈值处理：对校正后的图像进行阈值处理，将图像转换为二值图像，便于后续的分析和识别。
6. 答题区域识别：在二值图像中，识别出答题卡上的各个答题区域。
7. 答题结果判断：根据答题区域的填充情况，判断答题结果，并与正确答案进行对比，计算答题正确率。

二、代码实现

1. 导入工具包和定义常量

import numpy as np
import cv2

ANSWER_KEY = {0: 1, 1: 4, 2: 0, 3: 3, 4: 1}  # 正确答案，键是题目索引，值是正确选项索引

• 导入了numpy用于数值计算，cv2用于图像处理
• 定义了标准答案，假设共有 5 道题，每道题的正确选项分别是索引 1、4、0、3、1

2. 辅助函数定义

2.1 坐标点排序函数

def order_points(pts):
    # 初始化4个坐标点的存储数组
    rect = np.zeros(shape=(4, 2), dtype="float32")
    # 按顺序找到对应坐标0123分别是 左上，右上，右下，左下
    s = pts.sum(axis=1)  # 对pts矩阵的每一行进行求和操作，(x+y)
    rect[0] = pts[np.argmin(s)]  # 左上点：x+y最小
    rect[2] = pts[np.argmax(s)]  # 右下点：x+y最大
    diff = np.diff(pts, axis=1)  # 对pts矩阵的每一行进行求差操作，(y-x)
    rect[1] = pts[np.argmin(diff)]  # 右上点：y-x最小
    rect[3] = pts[np.argmax(diff)]  # 左下点：y-x最大
    return rect

这个函数用于将四个点按 "左上、右上、右下、左下" 的顺序排列，为后续透视变换做准备。

2.2 透视变换函数

def four_point_transform(image, pts):
    # 获取排序后的坐标点
    rect = order_points(pts)
    (tl, tr, br, bl) = rect
    
    # 计算宽度和高度
    widthA = np.sqrt(((br[0] - bl[0]) **2) + ((br[1] - bl[1])** 2))
    widthB = np.sqrt(((tr[0] - tl[0]) **2) + ((tr[1] - tl[1])** 2))
    maxWidth = max(int(widthA), int(widthB))
    
    heightA = np.sqrt(((tr[0] - br[0]) **2) + ((tr[1] - br[1])** 2))
    heightB = np.sqrt(((tl[0] - bl[0]) **2) + ((tl[1] - bl[1])** 2))
    maxHeight = max(int(heightA), int(heightB))
    
    # 变换后对应坐标位置
    dst = np.array([[0, 0], [maxWidth - 1, 0],
                   [maxWidth - 1, maxHeight - 1], [0, maxHeight - 1]], dtype="float32")
    
    # 计算透视变换矩阵并应用
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    
    return warped

这个函数实现了图像的透视变换，能将倾斜的答题卡转换为正视角度的矩形图像，方便后续处理。

2.3 轮廓排序函数

def sort_contours(cnts, method='left-to-right'):
    reverse = False
    i = 0

    if method == 'right-to-left' or method == 'bottom-to-top':
        reverse = True
    if method == 'top-to-bottom' or method == 'bottom-to-top':
        i = 1  # 按y坐标排序
    
    # 获取边界框并排序
    boundingBoxes = [cv2.boundingRect(c) for c in cnts]
    (cnts, boundingBoxes) = zip(*sorted(zip(cnts, boundingBoxes),
                                       key=lambda b: b[1][i], reverse=reverse))
    
    return cnts, boundingBoxes

这个函数用于对轮廓进行排序，可以按不同方向（左右、上下）排序，方便按题目顺序处理选项。

2.4 图像显示函数

def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)

封装了 OpenCV 的图像显示功能，方便调试过程中查看图像。

3. 主程序处理流程

3.1 图像预处理

# 读取图像
image = cv2.imread(r'./images/test_03.png')
contours_img = image.copy()
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)  # 转为灰度图
blurred = cv2.GaussianBlur(gray, (5, 5), 0)  # 高斯模糊去噪
edged = cv2.Canny(blurred, 75, 200)  # Canny边缘检测

这部分将彩色图像转为灰度图，进行模糊处理以减少噪声，然后使用 Canny 算法检测边缘。

3.2 轮廓检测与透视变换

# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL,
                       cv2.CHAIN_APPROX_SIMPLE)[-2]
cv2.drawContours(contours_img, cnts, -1, (0, 0, 255), 3)
docCnt = None

# 根据轮廓大小进行排序，找到答题卡的四个角
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)
for c in cnts:
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)  # 轮廓近似
    if len(approx) == 4:  # 找到四边形轮廓（答题卡）
        docCnt = approx
        break

# 执行透视变换，将答题卡转正
warped_t = four_point_transform(image, docCnt.reshape(4, 2))
warped_new = warped_t.copy()
warped = cv2.cvtColor(warped_t, cv2.COLOR_BGR2GRAY)

这部分先检测图像中的所有轮廓，然后找到最大的四边形轮廓（假设是答题卡），最后通过透视变换将答题卡转换为正视角度。

3.3 阈值处理与选项检测

# 阈值处理，将图像转为黑白二值图
thresh = cv2.threshold(warped, 0, 255,
                      cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)[1]

# 找到每一个圆圈轮廓（选项）
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]
warped_Contours = cv2.drawContours(warped_t, cnts, -1, (0, 255, 0), 1)

# 筛选出符合条件的选项轮廓
questionCnts = []
for c in cnts:
    (x, y, w, h) = cv2.boundingRect(c)
    ar = w / float(h)
    # 根据实际情况指定标准（大小和长宽比）
    if w >= 20 and h >= 20 and 0.9 <= ar <= 1.1:
        questionCnts.append(c)

这部分将图像转为黑白二值图，然后检测所有可能是选项的圆形轮廓，并根据大小和形状筛选出有效的选项。

3.4 答案识别与评分

# 按照从上到下进行排序（题目顺序）
questionCnts = sort_contours(questionCnts, method="top-to-bottom")[0]
correct = 0

# 每排有5个选项，遍历每道题
for (q, i) in enumerate(np.arange(0, len(questionCnts), 5)):
    cnts = sort_contours(questionCnts[i:i + 5])[0]  # 对每个题的5个选项按左右排序
    bubbled = None
    
    # 遍历每个选项，判断哪个被选中
    for (j, c) in enumerate(cnts):
        # 创建掩膜
        mask = np.zeros(thresh.shape, dtype="uint8")
        cv2.drawContours(mask, [c], -1, color=255, thickness=-1)
        
        # 计算非零点数量来判断是否选择这个答案
        thresh_mask_and = cv2.bitwise_and(thresh, thresh, mask=mask)
        total = cv2.countNonZero(thresh_mask_and)
        
        # 保存灰度值最大的选项（被选中的）
        if bubbled is None or total > bubbled[0]:
            bubbled = (total, j)
    
    # 对比正确答案
    color = (0, 0, 255)  # 默认红色（错误）
    k = ANSWER_KEY[q]
    
    if k == bubbled[1]:  # 判断正确
        color = (0, 255, 0)  # 正确则为绿色
        correct += 1
    
    # 绘制结果
    cv2.drawContours(warped_new, [cnts[k]], -1, color=color, thickness=3)

# 计算并显示分数
score = (correct / 5.0) * 100
print("[INFO] score: {:.2f}%".format(score))
cv2.putText(warped_new, "{:.2f}%".format(score), org=(10, 30),
            fontFace=cv2.FONT_HERSHEY_SIMPLEX, fontScale=0.9, color=(0, 0, 255), thickness=2)

# 显示最终结果
cv2.imshow("Original", image)
cv2.imshow("Exam", warped_new)
cv2.waitKey(0)

这部分是核心的答案识别和评分逻辑：

1. 按题目顺序（从上到下）处理每个题目
2. 对每个题目的选项（从左到右）进行分析
3. 通过计算每个选项区域的像素值判断哪个选项被选中
4. 与标准答案对比，正确的标记为绿色，错误的标记为红色
5. 计算并显示最终得分

整个流程利用计算机视觉技术实现了自动识别答题卡答案并评分的功能，适用于标准化考试的自动阅卷场景