LangChain-RAG学习之 文档加载器

目录

一、实现原理

二、文档加载器的选择

(一).PDF

加载本地文件

可能需要的环境配置

(二).CSV

[1、使用每个文档一行的 CSV 数据加载 CSVLoader](#1、使用每个文档一行的 CSV 数据加载 CSVLoader)

[2、自定义 csv 解析和加载 （csv_args](#2、自定义 csv 解析和加载 （csv_args)

[3、指定用于 标识文档来源的 列（source_column](#3、指定用于 标识文档来源的 列（source_column)

[(三)、文件目录 file_directory](#(三)、文件目录 file_directory)

1、加载文件目录数据（DirectoryLoader

[2、显示进度条 （tqdm，show_progress](#2、显示进度条 （tqdm，show_progress)

[3、使用多线程 （use_multithreading](#3、使用多线程 （use_multithreading)

4、更改加载器类（loader_cls

(四)、HTML

[1、加载 html (UnstructuredHTMLLoader](#1、加载 html (UnstructuredHTMLLoader)

[2、使用 BeautifulSoup4 加载 HTML (BSHTMLLoader我们还可以使用 BeautifulSoup4 使用 BSHTMLLoader 加载 HTML 文档。这将提取 HTML 中的文本到 page_content，并将页面标题作为 metadata 的 title。](#2、使用 BeautifulSoup4 加载 HTML (BSHTMLLoader我们还可以使用 BeautifulSoup4 使用 BSHTMLLoader 加载 HTML 文档。这将提取 HTML 中的文本到 page_content，并将页面标题作为 metadata 的 title。)

（五）、JSON

[1、使用 json 加载数据](#1、使用 json 加载数据)

[2、使用 JSONLoader](#2、使用 JSONLoader)

[3、提取元数据 （Extracting metadata）通常，我们希望将 JSON 文件中的元数据包含到从内容创建的文档中。](#3、提取元数据 （Extracting metadata）通常，我们希望将 JSON 文件中的元数据包含到从内容创建的文档中。)

[（六）、Markdown ( UnstructuredMarkdownLoader](#（六）、Markdown ( UnstructuredMarkdownLoader)

[保留元素（Retain Elements）](#保留元素（Retain Elements）)

---

一、实现原理

（1） 上传文档：用户上传包含知识的文档，支持 txt、pdf、docx 等格式，LangChain Chatchat 会将文档转换为 Markdown 格式

（2） 文本切割：为了便于分析和处理，将长文本切割为小块（chunk）

（3） 文本向量化：将切割的 chunk 通过 embedding 技术，转换为算法可以处理的向量，存入向量数据库

（4） 问句向量化：用户提问后，同样将用户的问句向量化

（5） 语义检索匹配：将用户的问句与向量数据库中的 chunk 匹配，匹配出与问句向量最相似的 top k 个

（6） 提交 prompt 至 LLM：将匹配出的文本和问句，一起添加到配置好的 prompt 模板中，提交给 LLM

（7） 生成回答：LLM 生成回答，返回给用户

二、文档加载器的选择

LangChain封装了一系列类型的文档加载模块，例如PDF、CSV、HTML、JSON、Markdown、File Directory等。下面以PDF文件夹在为例看一下用法，其它类型的文档加载的用法都类似。

(一).PDF

加载本地文件

LangChain加载PDF文件使用的是pypdf，先安装：

pip install pypdf

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("知识问答.pdf")
pages = loader.load_and_split()

print(f"第0页：\n{pages[0]}") ## 也可通过 pages[0].page_content只获取本页内容

加载在线PDF文件

可能需要的环境配置

在开始之前，你可能需要安装以下的Python包：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple unstructured
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pdf2image
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple unstructured-inference
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pikepdf

除了Python包，还需要下载 nltk_data，这东西非常大，下载起来非常慢。所以们可以事先下好，放到固定的位置。

下载地址：https://github.com/nltk/nltk_data/tree/gh-pages

下载完后，将其中的packages文件夹内的全部内容拷贝到固定位置，例如上面的

原文链接：https://blog.csdn.net/Attitude93/article/details/135996698

from langchain_community.document_loaders import OnlinePDFLoader

loader = OnlinePDFLoader("https://arxiv.org/pdf/2302.03803.pdf")
data = loader.load()
print(data)

(二).CSV

逗号分隔值（CSV） 文件是一种使用逗号分隔值的定界文本文件。

文件的每一行是一个数据记录；每个记录由一个或多个字段组成，字段之间用逗号分隔。

---

1、使用每个文档一行的 CSV 数据加载 CSVLoader

from langchain.document_loaders.csv_loader import CSVLoader

loader = CSVLoader(file_path='./example_data/mlb_teams_2012.csv')
data = loader.load()

2、自定义 csv 解析和加载 （csv_args

参见 csv 模块 文档，了解支持的 csv 参数的更多信息。

loader = CSVLoader(file_path='./mlb_teams_2012.csv', 
					csv_args={
					    'delimiter': ',',
					    'quotechar': '"',
					    'fieldnames': ['MLB Team', 'Payroll in millions', 'Wins']
					})

data = loader.load()

3、指定用于 标识文档来源的 列（source_column

使用 source_column 参数指定从每一行创建的文档的来源。

否则，file_path 将作为从 CSV 文件创建的所有文档的来源。

在使用基于来源回答问题的链时，这非常有用。

loader = CSVLoader(file_path='./example_data/mlb_teams_2012.csv',
				   source_column="Team")

data = loader.load()

(三)、文件目录 file_directory

这里介绍了如何加载目录中的所有文档。

在底层，默认情况下使用 UnstructuredLoader

我们可以使用 glob 参数来控制要加载的文件。

请注意，这里不加载 .rst 文件或 .html文件。

---

1、加载文件目录数据（DirectoryLoader

from langchain.document_loaders import DirectoryLoader
loader = DirectoryLoader('../', glob="**/*.md")
docs = loader.load()
len(docs) # -> 1

2、显示进度条 （tqdm，show_progress

默认情况下，不会显示进度条。

要显示进度条，请安装 tqdm 库（如 pip install tqdm），并将 show_progress 参数设置为 True。

loader = DirectoryLoader('../', 
						  glob="**/*.md", 
						  show_progress=True)
docs = loader.load()

3、使用多线程 （use_multithreading

默认情况下，加载操作在 一个线程 中进行。

为了利用多个线程，将 use_multithreading标志设置为 True。

loader = DirectoryLoader('../', 
						glob="**/*.md", 
						use_multithreading=True)
docs = loader.load() 

4、更改加载器类（loader_cls

默认情况下使用 UnstructuredLoader 类。但是，您可以相当容易地 更改加载器的类型。

from langchain.document_loaders import TextLoader

loader = DirectoryLoader('../', 
						  glob="**/*.md", 
						  loader_cls=TextLoader)

docs = loader.load()
len(docs)
# -> 1

(四)、HTML

超文本标记语言或 HTML 是用于在 Web 浏览器中显示的文档的标准标记语言。

1、加载 html (UnstructuredHTMLLoader

这部分介绍如何将 HTML 文档加载到 我们可以在下游使用的文档格式中。

from langchain.document_loaders import UnstructuredHTMLLoader
loader = UnstructuredHTMLLoader("example_data/fake-content.html")
data = loader.load()

2、使用 BeautifulSoup4 加载 HTML (BSHTMLLoader

我们还可以使用 BeautifulSoup4 使用 BSHTMLLoader 加载 HTML 文档。
这将提取 HTML 中的文本到 page_content，并将页面标题作为 metadata 的 title。

from langchain.document_loaders import BSHTMLLoader
loader = BSHTMLLoader("example_data/fake-content.html")
data = loader.load()

（五）、JSON

JSON (JavaScript Object Notation) 是一种开放标准的文件格式和数据交换格式，存储和传输方便，且可读。

JSON 对象由属性 key - 值 value 对和数组（或其他可序列化值）组成的数据对象。

1、使用 json 加载数据

import json
from pathlib import Path
from pprint import pprint

from langchain.document_loaders import JSONLoader

file_path='./facebook_chat.json'
data = json.loads(Path(file_path).read_text())

2、使用 JSONLoader

JSONLoader 使用指定的 jq schema 来解析 JSON 文件。

它使用 jq python 包。 查看这个 手册 来详细了解 jq 语法。

pip install jq


loader = JSONLoader(
		    file_path='./facebook_chat.json',
		    jq_schema='.messages[].content')

data = loader.load()

3、提取元数据 （Extracting metadata）

通常，我们希望将 JSON 文件中的元数据包含到从内容创建的文档中。

下面演示了如何使用 JSONLoader 提取元数据。

需要注意一些关键的更改。在前一个示例中，我们没有收集元数据，在模式中直接指定了 page_content 的值的提取位置。

（六）、Markdown ( UnstructuredMarkdownLoader

Markdown 是一种轻量级标记语言，用于使用纯文本编辑器创建格式化文本。

这部分内容介绍了如何将 Markdown 文档 加载到我们可以在应用程序中 要使用的文档格式中。

! pip install unstructured > /dev/null

from langchain.document_loaders import UnstructuredMarkdownLoader
markdown_path = "../../../../../README.md"
loader = UnstructuredMarkdownLoader(markdown_path)
data = loader.load()

保留元素（Retain Elements）

在底层，Unstructured 为不同的文本块创建不同的"元素"。

默认情况下，我们将它们组合在一起，但通过指定 mode="elements" 可以轻松保留该分离。

loader = UnstructuredMarkdownLoader(markdown_path, 
									mode="elements")
data = loader.load()

更多方法可以阅读此篇文章 LangChain - 文档加载_langchain自带页面来源文档展示部分-CSDN博客