【opencv】dnn示例-scene_text_recognition.cpp OpenCV库深度学习模型检测和识别图像中文本...

1440 x 1080
0: 't'
1: 'i'
2: 'I'
3: '黄'

中文显示异常：文末有解决方案

934 x 1408
0: '蓝朝路'
1: 'BaoanHwy'
2: 'GucunPark'
3: '宝安公路'
4: '顾村公园'
5: 'HutaiRd.'
6: '沪太路'
7: '东'

中文显示异常：文末有解决方案

文件下载及参数设置参考：（文本识别、文本检测模型及参数）

TextRecognitionModel:
crnn.onnx:
url: https://drive.google.com/uc?export=dowload&id=1ooaLR-rkTl8jdpGy1DoQs0-X0lQsB6Fj
sha: 270d92c9ccb670ada2459a25977e8deeaf8380d3,
alphabet_36.txt: https://drive.google.com/uc?export=dowload&id=1oPOYx5rQRp8L6XQciUwmwhMCfX0KyO4b
parameter setting: -rgb=0;
description: The classification number of this model is 36 (0~9 + a~z).
             The training dataset is MJSynth.


crnn_cs.onnx:
url: https://drive.google.com/uc?export=dowload&id=12diBsVJrS9ZEl6BNUiRp9s0xPALBS7kt
sha: a641e9c57a5147546f7a2dbea4fd322b47197cd5
alphabet_94.txt: https://drive.google.com/uc?export=dowload&id=1oKXxXKusquimp7XY1mFvj9nwLzldVgBR
parameter setting: -rgb=1;
description: The classification number of this model is 94 (0~9 + a~z + A~Z + punctuations).
             The training datasets are MJsynth and SynthText.


crnn_cs_CN.onnx:
url: https://drive.google.com/uc?export=dowload&id=1is4eYEUKH7HR7Gl37Sw4WPXx6Ir8oQEG
sha: 3940942b85761c7f240494cf662dcbf05dc00d14
alphabet_3944.txt: https://drive.google.com/uc?export=dowload&id=18IZUUdNzJ44heWTndDO6NNfIpJMmN-ul
parameter setting: -rgb=1;
description: The classification number of this model is 3944 (0~9 + a~z + A~Z + Chinese characters + special characters).
             The training dataset is ReCTS (https://rrc.cvc.uab.es/?ch=12).             
 
             
TextDetectionModel:
- DB_IC15_resnet50.onnx:
url: https://drive.google.com/uc?export=dowload&id=17_ABp79PlFt9yPCxSaarVc_DKTmrSGGf
sha: bef233c28947ef6ec8c663d20a2b326302421fa3
recommended parameter setting: -inputHeight=736, -inputWidth=1280;
description: This model is trained on ICDAR2015, so it can only detect English text instances.


- DB_IC15_resnet18.onnx:
url: https://drive.google.com/uc?export=dowload&id=1vY_KsDZZZb_svd5RT6pjyI8BS1nPbBSX
sha: 19543ce09b2efd35f49705c235cc46d0e22df30b
recommended parameter setting: -inputHeight=736, -inputWidth=1280;
description: This model is trained on ICDAR2015, so it can only detect English text instances.


- DB_TD500_resnet50.onnx:
url: https://drive.google.com/uc?export=dowload&id=19YWhArrNccaoSza0CfkXlA8im4-lAGsR
sha: 1b4dd21a6baa5e3523156776970895bd3db6960a
recommended parameter setting: -inputHeight=736, -inputWidth=736;
description: This model is trained on MSRA-TD500, so it can detect both English and Chinese text instances.


- DB_TD500_resnet18.onnx:
url: https://drive.google.com/uc?export=dowload&id=1sZszH3pEt8hliyBlTmB-iulxHP1dCQWV
sha: 8a3700bdc13e00336a815fc7afff5dcc1ce08546
recommended parameter setting: -inputHeight=736, -inputWidth=736;
description: This model is trained on MSRA-TD500, so it can detect both English and Chinese text instances.

这段源代码是一个使用OpenCV库和深度学习模型检测和识别图像中文本的完整示例。下面简要介绍一下这个代码的主要部分。

包含头文件 & 命名空间: 引入了必要的头文件，包括OpenCV库和深度神经网络模块，以及使用标准和OpenCV命名空间。

参数解析: 代码开始部分定义了一些参数，用于存储模型路径、输入图像大小、二值化阈值、多边形阈值，以及其他相关配置。这些参数可以通过命令行提供。

主函数 (main): 解析命令行参数后，加载文本检测模型和文本识别模型，检测模型使用DBNet算法，识别模型使用CRNN算法。

加载词汇: 为识别模型加载词汇表，词汇表通常是字符集文件。

参数设置: 为检测和识别模型设置输入参数，包括缩放比例、输入尺寸以及RGB均值等。

处理输入图像: 读取输入图像，执行文本检测，然后对检测到的文本区域进行识别。

绘制结果: 在图像上绘制检测到的文本多边形，并在每个检测到的文本区域旁边显示识别的结果。

fourPointsTransform 函数: 对于检测到的每个文本区域，使用透视变换校正倾斜的文本，以便在识别模型中使用。

sortPts 函数: 辅助函数用于排序点，可用于未来的功能扩展。

代码的功能总结：

从命令行接收输入参数，包括输入图像路径、检测和识别模型的路径，以及其他处理参数。

加载用于文本检测的DBNet模型和用于文本识别的CRNN模型。

对输入图像进行处理，使用检测模型识别文本区域。

对每个检测到的文本区域进行透视变换和裁剪。

使用识别模型对变换后的图块执行文本识别。

在原始图像上绘制检测到的文本区域，并显示识别的文本。

在屏幕上显示结果，并等待按键退出程序。

这段代码的核心在于集成OpenCV的DNN模块以及图像处理技术，实现从图像中自动检测和识别文本的流程。它可以作为一种端到端的文本检测和识别解决方案，在有文本的场景图片中自动识别出文字。

#include <iostream>  // 引用输入输出库
#include <fstream>   // 引用文件操作库
#include <opencv2/core.hpp>  // 引用OpenCV核心功能库
#include <opencv2/imgproc.hpp>  // 引用OpenCV图像处理库
#include <opencv2/highgui.hpp>  // 引用OpenCV高层GUI库
#include <opencv2/dnn/dnn.hpp>  // 引用OpenCV深度学习模块库


using namespace cv;  // 使用OpenCV命名空间
using namespace cv::dnn;  // 使用OpenCV深度学习命名空间


// 定义程序接收的命令行参数
std::string keys =
        "{ help  h                          | | Print help message. }"
        "{ inputImage i                     | td3.png| Path to an input image. Skip this argument to capture frames from a camera. }"
        "{ detModelPath dmp                 |DB_TD500_resnet18.onnx | Path to a binary .onnx model for detection. "
            "Download links are provided in doc/tutorials/dnn/dnn_text_spotting/dnn_text_spotting.markdown}"
        "{ recModelPath rmp                 |crnn_cs_CN.onnx | Path to a binary .onnx model for recognition. "
            "Download links are provided in doc/tutorials/dnn/dnn_text_spotting/dnn_text_spotting.markdown}"
        "{ inputHeight ih                   |736| image height of the model input. It should be multiple by 32.}"
        "{ inputWidth iw                    |736| image width of the model input. It should be multiple by 32.}"
        "{ RGBInput rgb                     |1| 0: imread with flags=IMREAD_GRAYSCALE; 1: imread with flags=IMREAD_COLOR. }"
        "{ binaryThreshold bt               |0.3| Confidence threshold of the binary map. }"
        "{ polygonThreshold pt              |0.5| Confidence threshold of polygons. }"
        "{ maxCandidate max                 |200| Max candidates of polygons. }"
        "{ unclipRatio ratio                |2.0| unclip ratio. }"
        "{ vocabularyPath vp                | alphabet_3944.txt | Path to benchmarks for evaluation. "
            "Download links are provided in doc/tutorials/dnn/dnn_text_spotting/dnn_text_spotting.markdown}";


// 定义用于文档透视变换的函数
void fourPointsTransform(const Mat& frame, const Point2f vertices[], Mat& result);


// 定义用于对点进行排序的函数
bool sortPts(const Point& p1, const Point& p2);


int main(int argc, char** argv)
{
    // 解析命令行参数
    CommandLineParser parser(argc, argv, keys);
    parser.about("Use this script to run an end-to-end inference sample of textDetectionModel and textRecognitionModel APIs\n"
                 "Use -h for more information");
    if (argc == 0 || parser.has("help"))
    {
        parser.printMessage();
        return 0;
    }


    // 提取命令行指定的参数
    float binThresh = parser.get<float>("binaryThreshold");
    float polyThresh = parser.get<float>("polygonThreshold");
    uint maxCandidates = parser.get<uint>("maxCandidate");
    String detModelPath = parser.get<String>("detModelPath");
    String recModelPath = parser.get<String>("recModelPath");
    String vocPath = parser.get<String>("vocabularyPath");
    double unclipRatio = parser.get<double>("unclipRatio");
    int height = parser.get<int>("inputHeight");
    int width = parser.get<int>("inputWidth");
    int imreadRGB = parser.get<int>("RGBInput");


    if (!parser.check())
    {
        parser.printErrors();
        return 1;
    }


    // 加载模型
    CV_Assert(!detModelPath.empty());
    TextDetectionModel_DB detector(detModelPath);  // 加载文本检测模型
    detector.setBinaryThreshold(binThresh)  // 设置二值化阈值
            .setPolygonThreshold(polyThresh)  // 设置多边形阈值
            .setUnclipRatio(unclipRatio)  // 设置非切割比例
            .setMaxCandidates(maxCandidates);  // 设置最大候选数量


    CV_Assert(!recModelPath.empty());
    TextRecognitionModel recognizer(recModelPath);  // 加载文本识别模型


    // 加载词汇表
    CV_Assert(!vocPath.empty());
    std::ifstream vocFile;
    vocFile.open(samples::findFile(vocPath));
    CV_Assert(vocFile.is_open());
    String vocLine;
    std::vector<String> vocabulary;  // 创建用于存储词汇的向量
    while (std::getline(vocFile, vocLine)) {
        vocabulary.push_back(vocLine);
    }
    recognizer.setVocabulary(vocabulary);
    recognizer.setDecodeType("CTC-greedy");


    // 设置检测模型和识别模型的参数
    double detScale = 1.0 / 255.0;
    Size detInputSize = Size(width, height);
    Scalar detMean = Scalar(122.67891434, 116.66876762, 104.00698793);
    detector.setInputParams(detScale, detInputSize, detMean);


    double recScale = 1.0 / 127.5;
    Scalar recMean = Scalar(127.5);
    Size recInputSize = Size(100, 32);
    recognizer.setInputParams(recScale, recInputSize, recMean);


    // 创建窗口用于展示结果
    static const std::string winName = "Text_Spotting";


    // 载入输入图像
    Mat frame = imread(samples::findFile(parser.get<String>("inputImage")));
    std::cout << frame.size << std::endl;


    // 运行文本检测和识别推理
    std::vector< std::vector<Point> > detResults;  // 存储检测结果
    detector.detect(frame, detResults);  // 运行文本检测
    Mat frame2 = frame.clone();  // 克隆原图用于绘制结果


    if (detResults.size() > 0) {
        // 文本识别
        Mat recInput;
        if (!imreadRGB) {
            cvtColor(frame, recInput, cv::COLOR_BGR2GRAY);  // 转换图像到灰度格式
        } else {
            recInput = frame;
        }
        std::vector< std::vector<Point> > contours;
        for (uint i = 0; i < detResults.size(); i++)
        {
            const auto& quadrangle = detResults[i];
            CV_CheckEQ(quadrangle.size(), (size_t)4, "");  // 确保每个检测到的形状是四边形


            contours.emplace_back(quadrangle);


            std::vector<Point2f> quadrangle_2f;
            for (int j = 0; j < 4; j++)
                quadrangle_2f.emplace_back(quadrangle[j]);


            // 执行透视变换和裁剪
            Mat cropped;
            fourPointsTransform(recInput, &quadrangle_2f[0], cropped);


            std::string recognitionResult = recognizer.recognize(cropped);  // 识别文本
            std::cout << i << ": '" << recognitionResult << "'" << std::endl;


            putText(frame2, recognitionResult, quadrangle[3], FONT_HERSHEY_SIMPLEX, 1, Scalar(0, 0, 255), 2);  // 在图像上绘制识别结果
        }
        polylines(frame2, contours, true, Scalar(0, 255, 0), 2);  // 绘制检测到的文本轮廓
    } else {
        std::cout << "No Text Detected." << std::endl;
    }
    imshow(winName, frame2);  // 显示结果
    waitKey();  // 等待用户按键


    return 0;  // 程序结束
}


// 文档透视变换函数定义
void fourPointsTransform(const Mat& frame, const Point2f vertices[], Mat& result)
{
    const Size outputSize = Size(100, 32);  // 设置输出图像尺寸


    // 定义透视变换的目标顶点
    Point2f targetVertices[4] = {
        Point(0, outputSize.height - 1),
        Point(0, 0),
        Point(outputSize.width - 1, 0),
        Point(outputSize.width - 1, outputSize.height - 1)
    };
    // 获取透视变换矩阵
    Mat rotationMatrix = getPerspectiveTransform(vertices, targetVertices);


    // 应用透视变换
    warpPerspective(frame, result, rotationMatrix, outputSize);


#if 0
    imshow("roi", result);  // 可以选择展示变换后的区域
    waitKey();
#endif
}


// 点排序函数定义
bool sortPts(const Point& p1, const Point& p2)
{
    return p1.x < p2.x;  // 按照X坐标排序
}