Python环境下LaTeX数学公式转图像方案调研与探讨

基于Matlplotib的方案，我是比较倾向这种方案的，不用额外安装LaTeX环境，因为Matplotlib 实现了一个轻量级的 TeX 表达式解析器和布局引擎，Mathtext 是该引擎支持的 Tex 标记的子集。这一部分的详细介绍，可参见官方文档：Writing mathematical expressions

使用例子：

python 复制代码

import matplotlib.pyplot as plt

fig = plt.figure(figsize=(3, 3), linewidth=1, edgecolor='black')
fig.text(.2, .7, "plain text: alpha > beta")
fig.text(.2, .5, "Mathtext: $\\alpha > \\beta$")
fig.text(.2, .3, r"raw string Mathtext: $\alpha > \beta$")

渲染结果如下：

不需要安装 TeX 即可使用 Mathtext，因为 Matplotlib 附带了 Mathtext 解析器和引擎。 Mathtext 布局引擎是对 Donald Knuth 的 TeX 中布局算法的相当直接的改编。

设想：可以基于matplotlib这个功能，编写一个自动合成开篇所讲的数据集的小工具。输入公式的LaTeX字符串，输出渲染后的数学公式图像。为此，我写了一个demo代码，大概思路是：
公式LaTeX字符串 Matplotilb渲染得到图像裁剪多余部分只有公式的图像

整体流程图如下：

相关代码如下：

借助matplotlib渲染公式部分：

python 复制代码

from matplotlib import pyplot as plt

fig = plt.figure(linewidth=1, facecolor="white", layout="tight")
fig.text(0.2, 0.5, r"$c = a^2 + b^2$")
fig.savefig("equation.png")

裁剪多余图像多余部分的代码：

python 复制代码

import cv2
import numpy as np


class CropByProject:
    """投影法裁剪"""

    def __init__(self, threshold: int = 250):
        self.threshold = threshold

    def __call__(self, origin_img):
        image = cv2.cvtColor(origin_img, cv2.COLOR_BGR2GRAY)

        # 反色，将大于threshold的值置为0，小于的改为255
        retval, img = cv2.threshold(image, self.threshold, 255, cv2.THRESH_BINARY_INV)

        # 使文字增长成块
        closed = cv2.dilate(img, None, iterations=1)

        # 水平投影
        x0, x1 = self.get_project_loc(closed, direction="width")

        # 竖直投影
        y0, y1 = self.get_project_loc(closed, direction="height")

        return origin_img[y0:y1, x0:x1]

    @staticmethod
    def get_project_loc(img, direction):
        """获得裁剪的起始和终点索引位置
        Args:
            img (ndarray): 二值化后得到的图像
            direction (str): 'width/height'
        Raises:
            ValueError: 不支持的求和方向
        Returns:
            tuple: 起始索引位置
        """
        if direction == "width":
            axis = 0
        elif direction == "height":
            axis = 1
        else:
            raise ValueError(f"direction {direction} is not supported!")

        loc_sum = np.sum(img == 255, axis=axis)
        loc_range = np.argwhere(loc_sum > 0)
        i0, i1 = loc_range[0][0], loc_range[-1][0]
        return i0, i1


if __name__ == "__main__":
    cropper = CropByProject()

    img_path = "equation.png"

    img = cv2.imread(img_path)

    result = cropper(img)

    cv2.imwrite("res.png", result)

写在最后

目前，公开的公式识别数据集，已经有很多了，包括一些公式识别的比赛以及开源项目中都有涉及，我这里就不再一一列举了，大家可自行寻找。

Python环境下LaTeX数学公式转图像方案调研与探讨

目录

引言

方案一：基于LaTeX环境

方案二：基于KaTeX

(推荐) 方案三：基于Matplotlib

写在最后