⚠️本文为稀土掘金技术社区首发签约文章，30天内禁止转载，30天后未获授权禁止转载，侵权必究！

✨专栏介绍： 经过几个月的精心筹备，本作者推出全新系列《深入浅出OCR》专栏，对标最全OCR教程，具体章节如导图所示，将分别从OCR技术发展、方向、概念、算法、论文、数据集等各种角度展开详细介绍。
💙个人主页: GoAI |💚 公众号: GoAI的学习小屋 | 💛交流群: 704932595 |💜个人简介： 掘金签约作者、百度飞桨PPDE、领航团团长、开源特训营导师、CSDN、阿里云社区人工智能领域博客专家、新星计划计算机视觉方向导师等，专注大数据与人工智能知识分享。

💻文章目录

👨‍💻本篇导读： 本篇为《深入浅出OCR》第六章：OCR数据集与评价指标,主要介绍OCR数据集（规则与不规则、合成数据集）、数据生成、OCR数据评估指标等知识进行介绍，方便小白或AI爱好者快速了解OCR方向知识.

《深入浅出OCR》第六章：OCR数据集与评价指标

一、OCR技术流程

在介绍OCR数据集开始，我将带领大家和回顾下OCR技术流程，典型的OCR技术pipline如下图所示，其中，文本检测和识别是OCR技术的两个重要核心技术。

1.1 图像预处理：

图像预处理是OCR流程的第一步，用于提高字符识别的准确性。常见的预处理操作包括灰度化、二值化和去噪。此外针对不规则文本识别，在预处理阶段可以先进行校正操作再进行识别。

1.2 文字检测

文本检测的任务是定位出输入图像中的文字区域。

1.3 文字识别

文本识别的任务是识别出图像中的文字内容。

文本识别一般输入来自于文本检测得到的文本框截取出的图像文字区域。文本识别一般可以根据待识别文本形状分为规则文本识别和不规则文本识别两大类。不规则文本场景具有很大的挑战性，也是目前文本识别领域的主要研究方向。

规则文本主要指印刷字体、扫描文本等，文本大致处在水平线位置，如下图左半部分；
不规则文本往往不在水平位置，存在弯曲、遮挡、模糊等问题，如下图右半部分。

二、OCR数据集统计与分类

2.1 数据集汇总统计

华南理工：github.com/HCIILAB/Sce...

数据集介绍参考：blog.csdn.net/jhsignal/ar...

2.2 数据集介绍

2.1.1 规则数据集

IIIT5K-Words (IIIT) 2000 for Train; 3000 for Test
Street View Text (SVT) 257 for Train; 647 for Test
ICDAR 2003(IC03) 、ICDAR2013 (IC13)

以ICDAR2013为例：

该数据集由500张左右英文标注的自然场景图片构成，标注形式为两点水平标注，坐标格式为左上角，和右下角，

2.1.2 不规则数据集

ICDAR2015 (IC15) 4468 for Train; 2077 for Test;
SVT Perspective (SP) 645 for Test
CUTE80 (CT) 288 for Test

以ICDAR2015为例：

该数据集由1500张（训练1000，测试500）英文标注的自然场景图片构成，标注形式为四点标注，坐标格式依次为为左上角，右上角，右下角和左下角。如下图所示：

2.1.3 合成数据集

Synthetic Training Datasets

Dataset	Description	Examples	BaiduNetdisk link
SynthText(ST)	9 million synthetic text instance images from a set of 90k common English words. Words are rendered onto nartural images with random transformations		Scene text datasets(提取码:emco)
MJSynth（MJ）	6 million synthetic text instances. It's a generation of SynthText.		Scene text datasets(提取码:emco)

文本检测数据集使用最为广泛的是SynthText (ST)，可以说是OCR领域的 ImageNet。该数据集由牛津大学上发布。数据集采用合成的方式生成，在80万张图片中人工加入了800万个文本，而且这种合成并不是很生硬的叠加，而是作了一些处理，使文字在图片中看起来比较自然。 SynthText规模较大其他的数据集大多不足以训练一个模型。因此，通常是根据中、英文、街景等不同场景识别，先用SynthText训练，然后再用小规模数据集调优。

github:github.com/ankush-me/S...

SynthText(ST) 样例图如下：

2.1.4 中文场景数据集

Chinese Text in the Wild (CTW)：

CTW数据集是一个针对中文场景文本的数据集，用于文本检测和识别任务。CTW数据集包含了超过40,000张高分辨率的中文场景图像，这些图像从不同来源和环境中获取，具有广泛的多样性。

2.1.5 手写数据集

数据集网站：CASIA Online and Offline Chinese Handwriting Databases

上述网站提供用于评估手写汉字识别的标准数据集，包括使用现有特征提取算法生成的特征数据和原始字符样本数据。具体规格如下：

2.3.数据集详细介绍

IC03、IC13和IC15是ICDAR（International Conference on Document Analysis and Recognition）2003/2013/2015 Robust Reading Challenge 比赛用数据集，数据集的每一张图片都来自真实的场景，并且做好了标注。但是样本比较少，合起来只有几千张。

1.ICDAR-2013

数据简介 ：该数据集由462（训练229，测试233）张英文标注的自然场景图片构成，标注形式为两点水平标注，坐标格式为左上角，和右下角：

2.ICDAR-2015

数据简介 ：该数据集由1500张（训练1000，测试500）英文标注的自然场景图片构成，标注形式为四点标注，坐标格式依次为为左上角，右上角，右下角和左下角，如下图所示：

3.ICDAR2017-MLT

数据简介 ：该数据集由9000张（训练7200，测试1800）多种混合语言标注的自然场景图片构成，标注形式为四点标注，坐标格式依次为为左上角，右上角，右下角和左下角，如下图所示：

4.ICDAR2017-RCTW

数据简介：ICDAR 2017-RCTW(Reading Chinest Text in the Wild)，由Baoguang Shi等学者提出。RCTW主要是中文，共12263张图像，其中8034作为训练集，4229作为测试集，标注形式为四点标注，数据集绝大多数是相机拍的自然场景，一些是屏幕截图；包含了大多数场景，如室外街道、室内场景、手机截图等等。

5.天池比赛2018

数据简介 ：该数据集全部来源于网络图像，主要由合成图像，产品描述，网络广告构成。每一张图像或者包含复杂排版，或者包含密集的小文本或多语言文本，或者包含水印，典型的图片如图1所示：

6.ICDAR2019-MLT

数据简介 ：该数据集由20000张（训练10000，测试10000）多种混合语言标注的自然场景图片构成，标注形式为四点标注，坐标格式依次为为左上角，右上角，右下角和左下角 10,000个图像在训练集中排序，使得：每个连续的1000个图像包含一种主要语言的文本（当然它可以包含来自1种或2种其他语言的附加文本，全部来自10种语言的集合） 00001 - 01000 ：Arabic 01001 - 02000：English 02001 - 03000：French 03001 - 04000：Chinese 04001 - 05000：German 05001 - 06000：Korean 06001 - 07000：Japanese 07001 - 08000：Italian 08001 - 09000：Bangla 09001 - 10000：Hindi 如下图所示：

7.ICDAR2019-LSVT

数据简介 ：该数据集由45w中文街景图像，包含5w（2w测试+3w训练）全标注数据（文本坐标+文本内容）构成，40w弱标注数据（仅文本内容），标注形式为四点标注，如下图所示：
说明：其中，test数据集的label目前没有开源，如要评估结果，可以去官网提交：rrc.cvc.uab.es/?ch=16

8.ICDAR2019-ReCTS

数据简介 ：ReCTS数据集包括25,000张带标签的图像，训练集包含20,000张图像，测试集包含5,000张图像。这些图像是在不受控制的条件下通过电话摄像机野外采集的。它主要侧重于餐厅招牌上的中文文本。数据集中的每个图像都用文本行位置，字符位置以及文本行和字符的成绩单进行注释。用具有四个顶点的多边形来标注位置，这些顶点从左上顶点开始按顺时针顺序排列。如下图所示:

9.ICDAR2019-ArT

数据简介 ：该数据集共含10,166张图像，训练集5603图，测试集4563图。由Total-Text、SCUT-CTW1500、Baidu Curved Scene Text (ICDAR2019-LSVT部分弯曲数据) 三部分组成，包含水平、多方向和弯曲等多种形状的文本。如下图所示：

10.Synth800k

数据简介 ：SynthText 数据集由牛津大学工程科学系视觉几何组于2016年在IEEE计算机视觉和模式识别会议(CVPR)上发布。数据集由包含单词的自然场景图像组成，其主要运用于自然场景中的文本检测，该数据集由 80 万个图像组成，大约有 800 万个合成单词实例。每个文本实例均使用文本字符串、字级和字符级边界框进行注释。

11.360万中文数据集

数据简介 ：该数据集利用中文语料库（新闻 + 文言文），通过字体、大小、灰度、模糊、透视、拉伸等变化随机生成共约364万张图片，按照99:1划分成训练集和验证集。包含汉字、英文字母、数字和标点共5990个字符（字符集合：github.com/YCG09/chine... ）每个样本固定10个字符，字符随机截取自语料库中的句子，图片分辨率统一为280x32。如下图所示：

12.中文街景数据集CTW

数据简介 ：该数据集包含32285张图像，1018402个中文字符(来自于腾讯街景), 包含平面文本，凸起文本，城市文本，农村文本，低亮度文本，远处文本，部分遮挡文本。图像大小2048x2048，数据集大小为31GB。以(8:1:1)的比例将数据集分为训练集(25887张图像，812872个汉字)，测试集(3269张图像，103519个汉字)，验证集(3129张图像，103519个汉字)。

13.百度中文场景文字识别

数据简介 ：ICDAR2019-LSVT行识别任务，共包括29万张图片，其中21万张图片作为训练集（带标注），8万张作为测试集（无标注）。数据集采自中国街景，并由街景图片中的文字行区域（例如店铺标牌、地标等等）截取出来而形成。所有图像都经过一些预处理，将文字区域利用仿射变化，等比映射为一张高为48像素的图片，如图所示：

14.MSRA-TD500

数据简介 ：总共500张自然场景图片(Training:300 + Test:200)。数据集特点：多方向文本检测、大部分文本都在引导牌上、分辨率在1296x864到1920x1280之间、包含中英文、标注以行为单位，而不是单词、每张图片都完全标注,难以识别的有difficult标注。

15.total-text

数据简介：总共500张自然场景图片(Training:1255 + Test:300)。数据集特点：Total-Text是最大弯曲文本数据集之一-ArT（任意形状文本数据集）训练集中的一部分。

2.4 数据集下载

常见数据集下载一

项目github地址：github.com/zcswdt/OCR_...

代码仓库提供常用的OCR检测和识别中的通用公开数据集的下载链接。并且提供了json标签转成.txt标签的代码和转换好的.txt标签。

数据集	数据介绍	标注格式	下载地址
ICDAR_2013	语言: 英文 train:229 test:233	x1 y1 x2 y2 text	下载链接1 .
ICDAR_2015	语言: 英文 train:1000 test:500	x1,y1,x2,y2,x3,y3,x4,y4,text	下载链接2 .
ICDAR2017-MLT	语言: 混合 train:7200 test:1800	x1,y1,x2,y2,x3,y3,x4,y4,text	下载链接3 . 提取码: z9ey
ICDAR2017-RCTW	语言: 混合 train:8034 test:4229	x1,y1,x2,y2,x3,y3,x4,y4,<识别难易程度>,text	下载链接4
天池比赛2018	语言: 混合 train:10000 test:10000	x1,y1,x2,y2,x3,y3,x4,y4,text	检测5 。识别6
ICDAR2019-MLT	语言: 混合 train:10000 test:10000	x1,y1,x2,y2,x3,y3,x4,y4,语言类别,text	下载链接7 . 提取码: xofo
ICDAR2019-LSVT	语言: 混合 train:30000 test:20000	json格式标签	下载链接8
ICDAR2019-ReCTS	语言: 混合 train:20000 test:5000	json格式标签	下载链接9
ICDAR2019-ArT	语言: 混合 train:5603 test:4563	json格式标签	下载链接10
Synth800k	语言: 英文 80k	基于字符标注	下载链接11
360万中文数据集	语言: 中文 360k	每张图片由10个字符构成	下载链接12 . 提取码:lu7m
中文街景数据集CTW	语言：中文 32285	基于字符标注的中文街景图片	下载链接13
百度中文场景文字识别	语言: 混合 29万		下载链接14

常见数据集下载二

Dataset	Description	BaiduNetdisk link
IIIT5k-Words(IIIT5K)	3000 test images instances. Take from street scenes and from originally-digital images	Scene text datasets(提取码:emco)
Street View Text(SVT)	647 test images instances. Some images are severely corrupted by noise, blur, and low resolution	Scene text datasets(提取码:emco)
StreetViewText-Perspective(SVT-P)	639 test images instances. It is specifically designed to evaluate perspective distorted textrecognition. It is built based on the original SVT dataset by selecting the images at the sameaddress on Google Street View but with different view angles. Therefore, most text instancesare heavily distorted by the non-frontal view angle.	Scene text datasets(提取码:emco)
ICDAR 2003(IC03)	867 test image instances	Scene text datasets(提取码:mfir)
ICDAR 2013(IC13)	1015 test images instances	Scene text datasets(提取码:emco)
ICDAR 2015(IC15)	2077 test images instances. As text images were taken by Google Glasses without ensuringthe image quality, most of the text is very small, blurred, and multi-oriented	Scene text datasets(提取码:emco)
CUTE80(CUTE)	288 It focuses on curved text recognition. Most images in CUTE have acomplex background, perspective distortion, and poor resolution	Scene text datasets(提取码:emco)

本文参考 ：zhuanlan.zhihu.com/p/356842725

三、数据生成

3.1 图像合成相关论文

衡量一个OCR系统性能好坏的主要指标有：拒识率、误识率、识别速度、用户界面的友好性，产品的稳定性，易用性及可行性等。

3.2 文本图片数据合成工具

开源工具代码：

其他数据生成项目：

Github ：BADBADBADBOY genete_ocr_data

其余待补充！！！

四、OCR评价指标

4.1 OCR常用的评估指标：

对于两阶段的可以分开来看，分别是检测和识别阶段。

（1）检测阶段：先按照检测框和标注框的IOU评估，IOU大于某个阈值判断为检测准确。这里检测框和标注框不同于一般的通用目标检测框，是采用多边形进行表示。

检测准确率： 正确的检测框个数在全部检测框的占比，主要是判断检测指标。

检测召回率： 正确的检测框个数在全部标注框的占比，主要是判断漏检的指标。

（2）识别阶段： 字符识别准确率，即正确识别的文本行占标注的文本行数量的比例，只有整行文本识别对才算正确识别。

（3）端到端统计：

端对端召回率： 准确检测并正确识别文本行在全部标注文本行的占比；

端到端准确率： 准确检测并正确识别文本行在检测到的文本行数量的占比；

准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的的检测框中的文本与标注的文本相同。

另外从单词角度分，OCR评价指标包括字段粒度 和字符粒度的识别效果评价指标。

以字段为单位的统计和分析，适用于卡证类、票据类等结构化程度较高的OCR 应用评测。
以字符 （文字和标点符号） 为单位的统计和分析，适用于通用印刷体、手写体类非结构化数据的OCR应用评测。

此外，从服务角度来说，识出率、平均耗时等也是衡量OCR系统好坏的指标之一。

4.2 编辑距离：

编辑距离是针对二个字符串（例如英文字）的差异程度的量化量测，量测方式是看至少需要多少次的处理才能将一个字符串变成另一个字符串。在莱文斯坦距离中，可以删除、加入、替换字符串中的任何一个字元，也是较常用的编辑距离定义，常常提到编辑距离时，指的就是莱文斯坦距离。

公式如下：

平均识别率：[ 1 - (编辑距离 / max(1, groundtruth字符数, predict字符数) ) ] * 100.0% 的平均值；
平均编辑距离：编辑距离，用来评估整体的检测和识别模型；
平均替换错误：编辑距离计算时的替换操作，用于评估识别模型对相似字符的区分能力；
平均多字错误：编辑距离计算时的删除操作，用来评估检测模型的误检和识别模型的多字错误；
平均漏字错误：编辑距离计算时的插入操作，用来评估检测模型的漏检和识别模型的少字错误；

代码实现：

ini 复制代码

 #代码
 import Levenshtein 
  
 def evaluate_measure(str_algorithm, str_ground_truth): 
     # 编辑距离 insert + delete + replace 
     edit_dist = Levenshtein.distance(str_algorithm, str_ground_truth) 
     sum_len_two_str = len(str_algorithm) + len(str_ground_truth) 
     ratio = Levenshtein.ratio(str_algorithm, str_ground_truth) 
     ldist = sum_len_two_str - (float(ratio) * float(sum_len_two_str)) 
     # 替换操作 
     replace_dist = ldist - edit_dist 
     if len(str_algorithm) > len(str_ground_truth): 
         more_word_error = len(str_algorithm) - len(str_ground_truth) 
         less_word_error = 0 
     else: 
         more_word_error =  0 
         less_word_error = len(str_ground_truth) - len(str_algorithm) 
     # - 平均识别率：[1 - (编辑距离 / max(1, groundtruth字符数, predict字符数))] * 100.0 % 的平均值； 
     recg_rate = "{:.2%}".format(1 - (edit_dist / max(1, len(str_algorithm), len(str_ground_truth)))) 
     print("识别率, 编辑距离, 替换错误, 漏字错误, 多字错误") 
     print(recg_rate, edit_dist, replace_dist, less_word_error, more_word_error) 
     return recg_rate, edit_dist, replace_dist, less_word_error, more_word_error

4.3 归一化编辑距离：

五、常见OCR识别模型评估对比

注：评价指标为准确率。

		Regular Dataset	Irregular dataset
Model	Year	IIIT	SVT	IC13(857)	IC13(1015)	IC15(1811)	IC15(2077)	SVTP	CUTE
CRNN	2015	78.2	80.8	-	86.7	-	-	-	-
ASTER(L2R)	2015	92.67	91.16	-	90.74	76.1	-	78.76	76.39
CombBest	2019	87.9	87.5	93.6	92.3	77.6	71.8	79.2	74
ESIR	2019	93.3	90.2	-	91.3	-	76.9	79.6	83.3
SE-ASTER	2020	93.8	89.6	-	92.8	80		81.4	83.6
DAN	2020	94.3	89.2	-	93.9	-	74.5	80	84.4
RobustScanner	2020	95.3	88.1	-	94.8	-	77.1	79.5	90.3
AutoSTR	2020	94.7	90.9	-	94.2	81.8	-	81.7	-
Yang et al.	2020	94.7	88.9	-	93.2	79.5	77.1	80.9	85.4
SATRN	2020	92.8	91.3	-	94.1	-	79	86.5	87.8
SRN	2020	94.8	91.5	95.5	-	82.7	-	85.1	87.8
GA-SPIN	2021	95.2	90.9	-	94.8	82.8	79.5	83.2	87.5
PREN2D	2021	95.6	94	96.4	-	83	-	87.6	91.7
Bhunia et al.	2021	95.2	92.2	-	95.5	-	84	85.7	89.7
Luo et al.	2021	95.6	90.6	-	96.0	83.9	81.4	85.1	91.3
VisionLAN	2021	95.8	91.7	95.7	-	83.7	-	86	88.5
ABINet	2021	96.2	93.5	97.4	-	86.0	-	89.3	89.2
MATRN	2021	96.7	94.9	97.9	95.8	86.6	82.9	90.5	94.1

六、OCR资料整理分享：

本篇文章最后，免费分享博主本人参考开源资料整理的OCR相关论文汇总，将其按年份、数据集、所属方法及论文关键词等信息进行全面分类总结，最近几年论文正在整理中，欢迎大家持续关注和学习交流！另外，文中如有错误，欢迎指正！

总结：本篇《第六章：OCR数据集与评价指标主要介绍OCR的数据集分类、应用场景及检测、识别等评价指标等进行介绍，方便学习者快速了解OCR方向知识。