OpenCV 入门（七）—— 身份证识别

OpenCV 入门系列：

OpenCV 入门（一）------ OpenCV 基础
OpenCV 入门（二）------ 车牌定位
OpenCV 入门（三）------ 车牌筛选
OpenCV 入门（四）------ 车牌号识别
OpenCV 入门（五）------ 人脸识别模型训练与 Windows 下的人脸识别
OpenCV 入门（六）------ Android 下的人脸识别
OpenCV 入门（七）------ 身份证识别

利用 OpenCV 实现身份证识别 Demo 效果：

主要步骤分为两大步：

1. 利用 OpenCV 从完整的身份证图片中识别出身份证号码区域，并返回身份证号码的图片
2. 利用 OCR 识别工具将身份证号码图片识别成文字

实际上身份证识别、银行卡识别都是相同的思路。

1、OpenCV 图像识别

1.1 上层代码过程

在 Activity 中，点击"从相册中查找"按钮从相册中选择一张图片转换为一个 640 * 480 的 Bitmap 设置到 ImageView 中：

class MainActivity : AppCompatActivity() {

    private lateinit var mBinding: ActivityMainBinding
    private var mFullImage: Bitmap? = null

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)

        mBinding = ActivityMainBinding.inflate(layoutInflater)
        setContentView(mBinding.root)
    }

    /**
     * 从相册中选择一张图片
     */
    fun search(view: View) {
        val intent = Intent(Intent.ACTION_PICK)
        intent.setDataAndType(MediaStore.Images.Media.EXTERNAL_CONTENT_URI, "image/*")
        startActivityForResult(Intent.createChooser(intent, "选择待识别图片"), REQUEST_CODE)
    }

    override fun onActivityResult(requestCode: Int, resultCode: Int, data: Intent?) {
        super.onActivityResult(requestCode, resultCode, data)
        if (requestCode == REQUEST_CODE && resultCode == RESULT_OK && data != null) {
            getResult(data.data)
        }
    }

    private fun getResult(data: Uri?) {
        // 获取图片路径
        var imagePath: String? = null
        if ("file" == data?.scheme) {
            Log.i(TAG, "path uri 获得图片")
            imagePath = data.path
        } else if ("content" == data?.scheme) {
            Log.i(TAG, "content uri 获得图片")
            val filePathColumns = arrayOf(MediaStore.Images.Media.DATA)
            val cursor = contentResolver.query(data, filePathColumns, null, null, null)
            if (null != cursor) {
                if (cursor.moveToFirst()) {
                    val columnIndex = cursor.getColumnIndex(filePathColumns[0])
                    imagePath = cursor.getString(columnIndex)
                }
                cursor.close()
            }
        }

        // 根据图片路径生成 Bitmap 并显示
        if (!TextUtils.isEmpty(imagePath)) {
            mFullImage?.recycle()
            mFullImage = toBitmap(imagePath)
            mBinding.tvIdNumber.text = null
            mBinding.ivIdCard.setImageBitmap(mFullImage)
        }
    }

    /**
     * 根据图片路径生成 Bitmap，宽高要缩放到 STANDARD_ID_CARD_WIDTH
     * 与 STANDARD_ID_CARD_HEIGHT 的范围内
     */
    private fun toBitmap(imagePath: String?): Bitmap? {
        if (imagePath == null) {
            return null
        }

        val tempOptions = BitmapFactory.Options()
        tempOptions.inJustDecodeBounds = true

        BitmapFactory.decodeFile(imagePath, tempOptions)
        // 计算出缩放倍数以及缩放后的宽高
        var tempWidth = tempOptions.outWidth
        var tempHeight = tempOptions.outHeight
        var scale = 1
        while (true) {
            if (tempWidth <= STANDARD_ID_CARD_WIDTH && tempHeight <= STANDARD_ID_CARD_HEIGHT) {
                break
            }
            tempWidth /= 2
            tempHeight /= 2
            scale *= 2
        }

        // 利用计算好的宽高与缩放倍数解析出一个 Bitmap
        val options = BitmapFactory.Options()
        options.outWidth = tempWidth
        options.outHeight = tempHeight
        options.inSampleSize = scale
        return BitmapFactory.decodeFile(imagePath, options)
    }

    companion object {
        private val TAG = MainActivity::class.java.simpleName

        private const val REQUEST_CODE = 100

        private const val STANDARD_ID_CARD_WIDTH = 640
        private const val STANDARD_ID_CARD_HEIGHT = 480
    }
}

然后点击"查找 ID"按钮时，将完整的身份证 Bitmap 传给 ImageProcessor 交由 Native 层的 OpenCV 进行识别：

	private var mResultImage: Bitmap? = null

	/**
     * 从整张图片中截取出身份证号码区域
     */
    fun searchIdImage(view: View) {
        mBinding.tvIdNumber.text = null
        mResultImage = ImageProcessor.getIdNumberArea(mFullImage, Bitmap.Config.ARGB_8888)
        mFullImage?.recycle()
        mBinding.ivIdCard.setImageBitmap(mResultImage)
    }

ImageProcessor 的内容很简单，就定义了一个 JVM 静态的 Native 方法 getIdNumberArea()：

class ImageProcessor {

    companion object {

        init {
            System.loadLibrary("ID-Recognition")
        }

        @JvmStatic
        external fun getIdNumberArea(fullImage: Bitmap?, config: Bitmap.Config): Bitmap
    }
}

该方法需要得到识别后身份证号区域的 Bitmap。

1.2 Native 识别过程

Native 层首先要解决 Bitmap 与 Mat 之间相互转换的问题。因为我们从上层传到 Native 的待识别图片是 Bitmap，但是 OpenCV 中是没有 Bitmap 对象的，类似的可以被认为是一张图片的结构是 Mat。那么在给 OpenCV 识别前，就要将 Bitmap 转化成 Mat，识别后再将 Mat 转换成 Bitmap 返回给上层。

OpenCV 提供了转换函数 nBitmapToMat2() 和 nMatToBitmap()，我们还需自己实现一个创建 Bitmap 对象的函数 createBitmap()：

#include <jni.h>
#include <opencv2/opencv.hpp>

using namespace std;
using namespace cv;

extern "C" {

extern JNIEXPORT void JNICALL Java_org_opencv_android_Utils_nBitmapToMat2
        (JNIEnv *env, jclass, jobject bitmap, jlong m_addr, jboolean needUnPremultiplyAlpha);
extern JNIEXPORT void JNICALL Java_org_opencv_android_Utils_nMatToBitmap
        (JNIEnv *env, jclass, jlong m_addr, jobject bitmap);

/**
 * 反射调用上层的 Bitmap 的 createBitmap() 创建一个 Bitmap 对象，并且
 * 将 srcData 的内容填充到 Bitmap 中
 */
jobject createBitmap(JNIEnv *env, Mat &srcData, jobject config) {
    int width = srcData.cols;
    int height = srcData.rows;

    // 反射 Bitmap.createBitmap() 并调用以创建 Bitmap 对象
    jclass bitmapClass = env->FindClass("android/graphics/Bitmap");
    jmethodID createBitmapMethod = env->GetStaticMethodID(
            bitmapClass,
            "createBitmap",
            "(IILandroid/graphics/Bitmap$Config;)Landroid/graphics/Bitmap;");

    jobject bitmap = env->CallStaticObjectMethod(bitmapClass, createBitmapMethod, width, height,
                                                 config);
    // 将 srcData 转换成 bitmap
    Java_org_opencv_android_Utils_nMatToBitmap(env, bitmapClass, (jlong) &srcData, bitmap);

    return bitmap;
}
}

接下来再实现 OpenCV 的识别函数：

extern "C"
JNIEXPORT jobject JNICALL
Java_com_opencv_id_recognition_ImageProcessor_getIdNumberArea(JNIEnv *env, jclass clazz,
                                                              jobject full_image, jobject config) {
    Mat src_img;
    Mat dst_img;
    Mat temp_img;

    // 1.通过 OpenCV 提供的函数，将上层传来的 Bitmap 转换为 Mat 对象
    Java_org_opencv_android_Utils_nBitmapToMat2(env, clazz, full_image, (jlong) &src_img, false);

    // 2.将图片无损压缩至 640 * 400
    resize(src_img, src_img, FIXED_ID_CARD_SIZE);

    // 3.灰度化
    cvtColor(src_img, temp_img, COLOR_BGR2GRAY);

    // 4.二值化
    threshold(temp_img, temp_img, 100, 255, THRESH_BINARY | THRESH_OTSU);

    // 5.膨胀操作
    Mat eroded_img = getStructuringElement(MORPH_RECT, Size(20, 10));
    erode(temp_img, temp_img, eroded_img);

    // 6.轮廓检测
    vector<vector<Point>> contours;
    vector<Rect> rects;

    findContours(temp_img, contours, RETR_TREE, CHAIN_APPROX_SIMPLE, Point(0, 0));

    for (int i = 0; i < contours.size(); i++) {
        Rect rect = boundingRect(contours[i]);
        if (rect.width > rect.height * 9) {
            rects.push_back(rect);
            rectangle(dst_img, rect, Scalar(0, 255, 255));
            dst_img = src_img(rect);
        }
    }

    // 7.筛选结果，如果 rects 有多个元素，则挑选纵坐标靠下的
    if (rects.size() == 1) {
        dst_img = src_img(rects[0]);
    } else if (rects.size() > 1) {
        int lowPoint = 0;
        Rect finalRect;
        for (auto &rect: rects) {
            if (rect.tl().y > lowPoint) {
                lowPoint = rect.tl().y;
                finalRect = rect;
            }
        }
        rectangle(temp_img, finalRect, Scalar(255, 255, 0));
        dst_img = src_img(finalRect);
    }

    // 8. 根据最终的 Mat 创建 Bitmap 作为返回值
    jobject bitmap = createBitmap(env, dst_img, config);

    // 9. 释放资源
    src_img.release();
    dst_img.release();
    temp_img.release();

    return bitmap;
}

2、OCR 识别

上一步我们能得到一个包含身份证号码的 Bitmap，接下来需要使用 OCR 识别技术将图片中的身份证号码识别成文字。OCR 全称 Optical Character Recognition，是一个对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程。

我们使用的是 Tess-two。Tess-two 是 TesseraToolForAndroid 的一个 git 分支，它具有如下特征：

1. 简单易用
2. 开源且支持离线使用
3. 为 Android 平台定制的 Java API

首先我们将识别模型文件 cn.traineddata 拷贝到 /src/main/assets 目录下，在 Activity 的 onCreate() 中启动协程，将该模型文件拷贝到手机中，并初始化 Tess：

	override fun onCreate(savedInstanceState: Bundle?) {
        ...
        lifecycleScope.launch {
            initTess()
        }
    }

	private suspend fun initTess() {
        coroutineScope {
            // 1.显示进度
            showProgress()
            val result = async {
                mTessBaseAPI = TessBaseAPI()
                // 2.通过流将识别模型拷贝到手机中
                try {
                    val inputStream = assets.open("$DEFAULT_LANGUAGE.traineddata")
                    val assetFile = File("/sdcard/tess/tessdata/$DEFAULT_LANGUAGE.traineddata")
                    if (!assetFile.exists()) {
                        assetFile.parentFile?.mkdirs()
                        val fos = FileOutputStream(assetFile)
                        val buffer = ByteArray(2048)
                        var len: Int
                        while (inputStream.read(buffer).also { len = it } != -1) {
                            fos.write(buffer, 0, len)
                        }
                        fos.close()
                    }
                    inputStream.close()
                    // init 传入的 datapath 必须是包含 tessdata 的目录
                    return@async mTessBaseAPI?.init("/sdcard/tess", DEFAULT_LANGUAGE) ?: false
                } catch (e: IOException) {
                    e.printStackTrace()
                }
                return@async false
            }
            // 3.处理异步任务结果
            dismissProgress()
            if (!result.await()) {
                Toast.makeText(this@MainActivity, "load trainedData failed", Toast.LENGTH_SHORT)
                    .show()
            }
        }
    }

	companion object {
        private const val DEFAULT_LANGUAGE = "cn"
    }

注意 TessBaseAPI.init() 的第一个参数，路径必须是包含了 tessdata 目录的父目录，否则初始化会抛异常。

最后，点击"识别文字"按钮时，将被识别的 Bitmap 设置给 Tess 然后获取文字结果即可：

	fun recognition(view: View) {
        mTessBaseAPI?.setImage(mResultImage)
        mBinding.tvIdNumber.text = mTessBaseAPI?.utF8Text
        mTessBaseAPI?.clear()
    }

当然，从最终的识别结果来看，并没有达到百分百的准确率，这与训练样本的数量不够有关。Tesseract-OCR 的样本训练方法，可参考超级详细的Tesseract-OCR样本训练方法。