文档解析

今年下半年

AI智能体项目实战记录（06）：RAG项目实战之文件上传及文档读取解析在之前的几篇文章中，我们已经完成了项目创建、向量库模型下载以及向量库部署等准备工作。从本篇开始，我们将正式进入 RAG（检索增强生成）项目的核心业务开发。

东莞市云毅网络有限公司

监测问句清单去重：停用词表、数字归一与贪心聚类的参数取法做生成式检索监测的企业，手里攒得较快的一类数据是问句清单：客户在问答入口里实际怎么问、自己准备去答哪些问题、同行被问到的又是什么。跑上两三个月，几千条很常见，其中大量条目只是换了个说法问同一件事。逐条人工归并做不到，直接丢进向量模型聚类，成本压不住，结果也解释不清——为什么这两条算一类，答不上来。

东莞市云毅网络有限公司

用 Python 给官网做字段级变更监控：快照、比对与变更清单页面改版没人察觉、字段写错要几个月后才被发现，这两件事在同一套监控里经常被搞反。用整页哈希或全文比对做变更检测，头一轮就会告警几十条：模板加了脚本、页脚换了年份、推荐位换了展示对象，全都算变更。真正出问题的那一次——服务半径从「珠三角」写成「全国」——反而埋在噪声里。

东莞市云毅网络有限公司

AI 引用句逐条回指原文：让回答可回溯的校验实现一段生成式回答读起来通顺，和它是否站得住，是两件事。「主力机型质保三年，全国设有一百二十个服务网点」，句子漂亮，只要没有任何一份原文能对上，它就是一条无法核对的说法。可回溯校验要做的，是把回答逐句拆开，再让每一句回到原始资料里找到出处。

【文档解析】2026年技术发展和趋势其一，视觉token极压缩："光学压缩"成了新卖点。其二，推理加速成为显学：多token预测+投机解码被卷到这个领域。 OCR输出长、又高度可预测，成了投机解码的"肥肉"。2026年几乎每家都在解「生成长、解码慢」的问题。代表的：

东莞市云毅网络有限公司

用 SQLite FTS5 给企业文档建本地全文索引：中文分词与权重调优企业内部的文档检索，多数场景并不需要上 Elasticsearch。几千到几万份文档的规模，用 SQLite 的 FTS5 扩展就能做到毫秒级响应，且零部署成本、单文件可迁移。这篇文章记录一套可直接运行的实现：中文预分词 + FTS5 索引 + BM25 权重调优 + 查询改写。

PDF跨页表格提取后错列怎么办？先检查表头、续行和单位从PDF提取一张十几页的明细表，最容易忽略的问题是：第一页看起来完全正常，翻到后面，项目名称却落进了金额列，重复表头混进数据行，某一条长名称还被拆成两条记录。数字可能都识别出来了，但它们之间的关系已经错了。

智码看视界

Day72-文档预处理实战：PDF解析 + 文本切块的正确姿势RAG 的回答质量，80% 不取决于模型，而取决于喂给模型的上下文干不干净。检索阶段确实能命中相关文档，但如果进 LLM 的 Chunk 是"目录 + 正文 + 页眉页脚 + 水印"的混合体，模型再强也会答非所问。

东莞市云毅网络有限公司

企业非结构化资料拆分成可引用片段：一套能跑通的预处理流水线做检索增强（RAG）的人都知道一句话：检索质量的上限，是切分质量决定的。但企业侧的文档和公开语料完全不同——PDF 是扫描件混杂排版文本，Word 是十几年攒下来的各种模板，表格嵌在段落里，图片里还压着关键参数。直接按固定长度切，切出来的块要么截断在半句话上，要么把三件不相关的事揉在一起。

PDF 转 Markdown 工具怎么选？AI 知识库和 RAG 场景要注意什么PDF 看起来只是一个“能打开就行”的文件，但一旦要进入知识库、搜索问答或 RAG 流程，问题就变了。真正需要的不是把文字拷出来，而是把标题层级、表格、列表、脚注和段落关系一起整理好。

腾讯优图Youtu-Parsing开源，无损并行解码让表格解析提速26倍，OmniDocBench 93.22分一个2.5B参数的文档解析模型，推理速度竟然比3B的dots.ocr快了一倍多。这不是「模型更小所以更快」那么简单，秘密藏在一种叫「无损并行解码」的方法里。

字节跳动Dolphin-v2：数字 PDF 拆开读、拍照文档整页读，自建拍照文档集平均编辑距离较原始 Dolphin降低约 91%同一页论文，从电脑里导出来，和用手机拍下来，内容一点没变。可到了文档解析模型手里，它们最好别走同一条路。

最新百度PaddleOCR开源HPD-Parsing，提出层级并行文档解析，1B模型解码步数最高压缩18倍，文档解析效率提升3倍！拿到一份扫描文档，丢给一个视觉语言模型做解析。模型看了一眼图片，视觉编码器几十毫秒就处理完了，然后开始一个字一个字地往外吐结果。

智谱联合清华开源GLM-OCR，0.9B参数配MTP多Token预测，文档解析吞吐量1.86页/秒，印章识别90.5分，第二名才42.2分2026年3月，智谱AI联合清华大学在arXiv上挂出了一篇技术报告，主角叫GLM-OCR，一个文档解析模型，参数量0.9B。

通往RAG之路（四）：实战篇pdf文档解析为josn&md这是一个基于MinerU工具开发的批量文档智能解析与格式转换自动化脚本，核心作用是将 PDF、图片、Office 等格式的文档，批量转换为结构化的 Markdown 文本和 JSON 数据，适用于文档数字化、RAG 知识库构建、数据提取等场景。我的文档全部是pdf，目前只是用到pdf输入。目前只是将pdf数据解析为 Markdown 文本和 JSON 数据。

weixin_37763484

【MinerU】 Docker 使用问答记录定义在 pyproject.toml:110-120：具体来说，all 在 core 基础上额外安装：

weixin_37763484

【MinerU】 3090部署 CUDA版本升级我在矩池云上租了3090，但是 CUDA 只有12.2，当使用 MinerU 的 -b vlm-auto-engine时，官方文档上写着CUDA最低要12.9，当我询问 Gemini 如何升级的时候，给出的答案是只升级 CUDA Toolkit。

weixin_37763484

【MinerU】Pipeline 与 Auto-Engine 模式采用多个专用模型串行处理：分为 hybrid-auto-engine（默认）和 vlm-auto-engine 两种，核心是引入了视觉语言模型（VLM）：

weixin_37763484

【MinerU】API 服务与 Router服务MinerU 提供 mineru-api 命令启动 FastAPI 服务，支持同步和异步两种处理模式：

weixin_37763484

【MinerU】多类型文件解析与模型管理MinerU 目前支持以下文件格式：注意：只支持 Office Open XML 格式（.docx/.pptx/.xlsx），不支持旧版二进制格式（.doc/.ppt/.xls）。