ocr之opencv配合paddleocr提高识别率

背景1：在这篇文章编写之前使用到的工具并不是opencv，而是java原有的工具BufferedImage。但因为在使用过程中会频繁切图，放大，模糊，所以导致的jvm内存使用量巨大，分秒中都在以百兆的速度累加内存空间。这种情况会让程序卡顿，频繁的发生full gc。增加了jvm宕机的不确定性，也给自己埋下了定时炸弹。在不断摸索后一直不能解决这个高内存使用率的问题。而这又关乎到程序的稳定，于是在近日发现并决定使用opencv试一试。
背景2：使用BufferedImage的这段时间里虽然通过不断调整jvm①达到了没有明显卡顿的效果，但是这个坑迟早还是会害人的。
注①：怎样调整的jvm可以看这篇博文。调整参数不复杂，只是通过较小堆大小来做的，但这不是最佳解决方案》》

注：只是通过paddleocr识别，准确度不如人意。但是经过矫正，使用放大模糊图片，就像给paddleocr带上了一副眼睛，成功的提高了识别率。美哉。应上了一首名句（不识庐山这面目，只缘身在此山中），让paddle能看到山就好。

一、识别思路

1. 切割图片

切割的位置以及尺寸大小是通过提前测量好的，也就是可以通过系统内的操作。

2. 放大图片①

放大的尺寸大小非常需要测试。首先放大倍数过小会导致图片不够清除。倍数过大导致图片的文件大小过量，这会导致各种的不方便，尤其是在通过后面要讲的paddleocr识别起来效率降低（识别时间过长）。
注①：测试后计划使用的放大倍数选择8

3. 模糊图片

模糊图片的操作会带使得paddleocr在现有模型下提高识别率。据观测，棱角分明的像素体，识别率是很低的（感觉paddleocr被训练的更容易看懂抽象一般）

4. paddleocr识别

这是最后一步。我在实际使用的场景下应用的是打包的exe程序。exe打包的具体内容可以查看我的这篇博文 》》

二、具体实现介绍

注：如何使用opencv呢？我咨询的大模型【文心一言】。说实话在变成使用方面他还是很在行的。在使用大模型方面我还解除了【抖音】的【豆包】，豆包的效果不是很好，文心还是不错。

opencv如何使用

1. 下载opencv4.6.0版本并进行配置

注：我使用的是460版本, 是在官网进行的下载，直接下载网速会特别慢，于是使用的【迅雷】（通过看广告获取快下的资格）
opencv官网下载页面》》

下载后解压缩并配置环境变量

注：双击解压到你指定的目录

注：将你的下方路径配置到环境变量

E:\prgrames\opencv\build

将下方文件配置到%JAVA_HOME%\bin目录下

将下方文件配置到项目中

注：我配置的位置为根目录的/lib/下

配置maven依赖

<dependency>
    <groupId>opencv</groupId>
    <artifactId>opencv</artifactId>
    <version>460</version>
    <scope>system</scope>
    <systemPath>${project.basedir}/lib/opencv-460.jar</systemPath>
</dependency>

在java代码中静态加载dll文件

static {
   System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
}

由此就可以开始使用了

2. 编写放大模糊裁剪方法

import cn.hutool.core.util.StrUtil;
import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.core.Rect;
import org.opencv.core.Size;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;

import java.io.File;
import java.io.IOException;

/**
 * opencv图片处理
 */
public class OpencvPicHanldle {

    static {
        System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
    }

    /** 裁剪图片 */
    static String CLIP_NAME = "tmp_cp";
    /** 放大图片 */
    static String ZOOM_NAME = "tmp_zm";
    /** 模糊图片 */
    static String BLUR_NAME = "tmp_br";

    public static File blurPic(String inputFilePath, String picFormat, String tmpDir, int redius) {
        // 读取图片
        Mat src = Imgcodecs.imread(inputFilePath);
        // 创建输出Mat对象
        Mat dst = new Mat();
        // 定义高斯滤波器的大小，这里使用5x5的核
        Size ksize = new Size(redius, redius);
        // 定义高斯滤波器的标准差，这里使用0，意味着OpenCV会根据核大小自己计算
        double sigmaX = 0;
        double sigmaY = 0;
        // 应用高斯模糊
        Imgproc.GaussianBlur(src, dst, ksize, sigmaX, sigmaY);
        File file;
        try {
            file = File.createTempFile(BLUR_NAME, StrUtil.DOT+picFormat.toLowerCase(), mkdir(tmpDir));
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
        // 保存模糊处理后的图片
        Imgcodecs.imwrite(file.getAbsolutePath(), dst);
        // 显示模糊处理后的图片（如果需要的话）
        // HighGui.imshow("Blurred Image", dst);
        // HighGui.waitKey(0);
        // 释放资源
        src.release();
        dst.release();
        return file;
    }

    public static File clipPic(String filePath, String picFormat, String tmpDir, int x, int y, int w, int h) {
        Mat src = Imgcodecs.imread(filePath);
        // 定义切割区域
        Rect roi = new Rect(x, y, w, h); // x, y 是起始点坐标，width, height 是切割区域的宽和高
        // 获取切割后的图片（子矩阵）
        Mat cropped = new Mat(src, roi);
        File file;
        try {
            file = File.createTempFile(CLIP_NAME, StrUtil.DOT+picFormat.toLowerCase(), mkdir(tmpDir));
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
        // 保存切割后的图片
        Imgcodecs.imwrite(file.getAbsolutePath(), cropped);
        // 释放资源
        src.release();
        cropped.release();
        return file;
    }

    public static File zoomPic(String inputFilePath, String picFormat, String tmpDir, double scale) {
        // 读取图片
        Mat src = Imgcodecs.imread(inputFilePath);
        // 定义放大后的尺寸，这里假设放大两倍
        double scaleFactor = scale; // 放大倍数
        Size newSize = new Size(src.width() * scaleFactor, src.height() * scaleFactor);
        // 创建放大后的Mat对象
        Mat dst = new Mat();
        // 使用Imgproc.resize()函数放大图片
        Imgproc.resize(src, dst, newSize);
        File file;
        try {
            file = File.createTempFile(ZOOM_NAME, StrUtil.DOT+picFormat.toLowerCase(), mkdir(tmpDir));
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
        // 保存放大后的图片
        Imgcodecs.imwrite(file.getAbsolutePath(), dst);
        // 释放资源
        src.release();
        dst.release();
        return file;
    }

    public static File mkdir(String dirPath) {
        File dirFile = new File(dirPath);
        if(!dirFile.exists()) {
            dirFile.mkdir();
        }
        return dirFile;
    }

}

3. 对接paddleocr识别

python脚本识别

使用python脚本识别只是为了测试, 实际我在java中使用时用到的为打包后的exe
注：paddleocr的安装详情可查看这篇文章 》》
注：安装后可使用脚本进行测试识别图片 如下是python的识别脚本
注：使用时命令如： 标红处为识别出的内容。

# 参数1为打印识别到的内容
padocr.py C:\main\tmp_zm1295880000423201969.jpg 1

from paddleocr import PaddleOCR
import sys
def recognize(imgPath,printx):
	# 模型路径下必须含有model和params文件
	ocr = PaddleOCR(
					use_angle_cls = True, # 是否加载分类模型
					use_gpu = False# 是否使用gpu
					,show_log=False
					)			
	#img_path = 'C:/Users/Administrator/Desktop/zuoshangjiao/20240129162437.jpg'
	result = ocr.ocr(imgPath, cls = True)
	#print(f"result:{result}")
	for i,line in enumerate(result):
		#print(f"i:{i}, line:{line}")
		for j,item in enumerate(line):
			print(f"item: {item}")
			for k, body in enumerate(item):
				#if k == 1:
					print(f"k:{k}, point:{body[0]}, value:{body[1]}")
					print(printx)
					if printx == "1":
						print(f"{body[0]}, ordinary:{body[1]}")
					else:
						print(f"{body[0]}")

if __name__ == "__main__":
	recognize(sys.argv[1],sys.argv[2])

java程序

import cn.hutool.core.date.DatePattern;
import cn.hutool.core.date.DateUtil;
import cn.hutool.core.io.FileUtil;
import cn.hutool.core.util.StrUtil;
import lombok.extern.slf4j.Slf4j;
import org.opencv.core.Mat;
import org.opencv.core.Rect;
import org.opencv.core.Size;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;

import javax.imageio.ImageIO;
import java.awt.*;
import java.awt.image.BufferedImage;
import java.io.File;
import java.io.IOException;
import java.util.Date;

/**
 * paddleocr识别工具类
 */
@Slf4j
public class PaddleOcrUtil {
    /** 临时文件路径 */
    public static String tmpPath = System.getProperty("user.dir") + StrUtil.SLASH + "tmpFile" + StrUtil.SLASH + DateUtil.format(new Date(), DatePattern.PURE_DATETIME_MS_FORMAT);

    /**
     * 创建图片路径
     */
    static {
        File tmpFile = new File(tmpPath);
        if(!tmpFile.exists()) {
            if(FileUtil.mkParentDirs(tmpPath).exists()) {
                if(tmpFile.mkdir()) {}
            }
        }
    }

    /**
     * 测试使用, 勿删除
     */
    public static void testRec() {
        String cutPic = "D:\\...\\tmp_cp8579718493577844855.jpg";
        String abs = "D:\\...\\tmpFile\\20240328104742415\\acc3";
        File a = OpencvPicHanldle.zoomPic(cutPic, "jpg", abs, 8);
        File b = OpencvPicHanldle.blurPic(a.getAbsolutePath(), "jpg", abs, 5);
        System.out.println(b.getAbsolutePath());
    }

    /**
     * 识别图片
     * @param filePath 整图
     * @param picFormat 整图类型
     * @param x 需要切割的坐标x
     * @param y 需要切割的坐标y
     * @param w 需要切割的坐标w
     * @param h 需要切割的坐标h
     * @return
     */
    public static String rec(String filePath, String picFormat, int x, int y, int w, int h) {
        File outputfile;
        try{
            outputfile = OpencvPicHanldle.clipPic(filePath, picFormat, tmpPath, x, y, w, h);
        }catch (Throwable e) {
            log.error("rec.err: ", e);
            return StrUtil.EMPTY;
        }
        return rec(outputfile, picFormat);
    }

    /**
     * 识别图片具体方法
     * @param outputfile 切割后的图片路径
     * @param formatName 图片类型
     * @return
     */
    private static String rec(File outputfile, String formatName) {
        File zoomFile = null;
        File blurFile = null;
        try {
            // 放大
            zoomFile = OpencvPicHanldle.zoomPic(outputfile.getAbsolutePath(), formatName, tmpPath, 8);
            // 模糊化
            blurFile = OpencvPicHanldle.blurPic(zoomFile.getAbsolutePath(), formatName, tmpPath, 5);
            String console;
            try {
                console = ShellUtils.exec(OcrServiceRegistry.execPath, blurFile.getAbsolutePath());
            } catch (Exception e) {
                throw new RuntimeException(e);
            }
            if(StrUtil.isEmpty(console)) return StrUtil.EMPTY;
            return console.replaceAll("[\\s\\t\\n\\r]+", "");
        }catch (Throwable e) {
            e.printStackTrace();
            return "";
        }finally {
            if(outputfile != null) {
                if(!OcrServiceRegistry.saveClipImage) {
                    outputfile.delete();
                }
            }
            if(zoomFile != null) {
                if(!OcrServiceRegistry.saveBlurImage) {
                    zoomFile.delete();
                }
            }
            if(blurFile != null) {
                if(!OcrServiceRegistry.saveBlurImage) {
                    blurFile.delete();
                }
            }
        }
    }
}

三、使用opencv注意事项

注：不要有中文路径，否则会报错

• 不要有中文路径（java程序如jar包所在路径）
• 不要有中文路径（要处理的图片所在路径）

总结

1. 持之以恒

对不满意的事情想办法让他变得更好。
注：心里一直装着的事终于能够落地了。因为一直装着，也就是放在心上，终归有了解决方案。

2. 换种思路

注：避免死心眼钻牛角尖。就比如死磕jvm调优，但还是于事无补。
注：多尝试新的东西，会带来不小的收获