为什么PDF文件更适合LLM大模型信息提取？
在Dify平台中，我们通过LLM大模型提取上传文件中的指定信息。目前使用的大模型包括qwen2:7b和deepseek-r1:70b。然而，我们发现一个有趣的现象：在提取信息时，PDF文件的表现明显优于DOC和DOCX文件。本文将探讨这一现象的原因，并给出相应的建议。
工作流概述
我们的工作流如下：
- 开始节点：用户上传文件，支持txt、doc、docx、pdf、ppt、md等常见文档格式。
- 文档提取器：文档提取器节点的作用是将用户上传的文档解析并读取其中的信息，然后将这些信息转化为文本格式传递给LLM大模型进行处理。
- LLM处理：LLM大模型根据输入的文本内容提取指定的信息。
- 结束节点：输出提取结果。
为什么需要文档提取器？
LLM大模型自身无法直接读取或解释文档的内容。因此，我们需要在LLM之前加入文档提取器节点。文档提取器可以理解为一个信息处理中心，它通过识别并读取输入变量中的文件，提取信息后并转化为string类型输出变量，供下游节点调用。
输入与输出变量
- 输入变量 ：文档提取器仅接受以下数据结构的变量：
File，单独一个文件Array[File]，多个文件
- 输出变量 ：输出变量固定命名为
text。输出的变量类型取决于输入变量：- 输入变量为
File时，输出变量为string - 输入变量为
Array[File]时，输出变量为array[string]
- 输入变量为
问题描述
在实际操作中，发现：
- 当DOC和DOCX文件经过文档提取器解析后，再由LLM大模型提取信息时，会出现提取信息不准确或有些信息提取不到的情况。
- 然而，当我们将DOC和DOCX文件转换为PDF格式后，LLM提取的信息则比较准确。
原因分析
1. 格式稳定性
- PDF格式 ：
- PDF是静态格式，具有较强的格式稳定性，在不同设备和软件中显示效果一致。
- 文档提取器在处理PDF时，能够更准确地识别文本的位置、字体、大小等信息，从而更精确地提取出完整的文本内容。
- DOC和DOCX格式 ：
- DOC和DOCX是Microsoft Word的文档格式，虽然也有一定的规范，但它们的格式相对更灵活，可能包含更多的排版元素和样式信息。
- 这些额外的信息有时可能会干扰文档提取器对文本内容的准确提取，导致一些文本被错误地识别或遗漏。
2. 文本提取可靠性
- PDF文本层 ：
- 现代PDF通常包含可直接提取的文本层，提取准确率高。
- DOCX复杂结构 ：
- Word文档中的文本框、表格、页眉页脚等复杂元素可能导致提取错位。
3. 标准化程度高
- PDF格式 ：
- PDF是一种广泛应用的标准化文档格式，有明确的规范和标准定义。各种文档处理工具和库对PDF的支持也较为成熟和稳定。
- 文档提取器在处理PDF时能够遵循这些标准，从而提高提取的准确性。
- DOC和DOCX格式 ：
- DOC和DOCX格式虽然也有一定的标准，但由于Microsoft Word的广泛使用和不断更新，可能存在一些版本兼容性问题。
- 不同版本的Word生成的DOC和DOCX文档在格式上可能会有一些差异，这也会给文档提取器带来一定的挑战，影响关键信息提取的准确性。
建议
为了提高信息提取的准确性，建议用户在上传文档时尽量选择PDF格式。如果原始文档是DOC或DOCX格式，建议先将其转换为PDF格式后再上传。
参考文档：文档提取器