在 LangChain 框架中,Document 对象是整个数据检索和 RAG(检索增强生成)流水线的核心基石 。无论是从外部加载知识、切分文本,还是将其存入向量数据库,所有的数据传输都必须被标准化封装为 Document 对象。
1. Document 的核心结构
Document 类的底层基于 Pydantic 的 BaseModel 实现。官方的设计极其精简,在最新版本中主要包含 3 个核心属性:
python
from langchain_core.documents import Document
doc = Document(
page_content="这是文档的核心文本内容...",
metadata={
"source": "https://example.com",
"author": "张三",
"page": 12,
"category": "AI开发"
},
id="doc_001" # 需 langchain-core >= 0.1.0,支持id
)
查看Document源码的继承关系,可以发现确实继承了Pydantic 的 BaseModel : 具体学习见BaseModel
python
class Document(BaseMedia):
class BaseMedia(Serializable):
class Serializable(BaseModel, ABC):
属性详解:
page_content(str):必填。存放纯文本内容。这是未来会转化为向量(Embedding)并最终喂给大模型(LLM)的检索核心。metadata(dict):选填(默认为空字典)。用于存放任意维度的元数据。在向量检索时,可以基于这些字段进行硬过滤(Metadata Filtering)(例如:只检索category == "AI开发"的文档)。id(str或int):选填。文档的唯一标识。在大规模检索和更新向量数据库(增删改查)时,拥有显式的id至关重要,可防止重复插入。
⚠️ Document 本身(作为 Pydantic 对象)不应直接作为聊天消息发送。与 LLM 交互时,应提取其 page_content 字段,组合成纯文本 Prompt 或 Message。
2. Document 在 RAG 完整生命周期中的角色
在典型的 RAG 架构中,Document 充当了"标准通用货币"的角色,连接了以下四个核心步骤:
txt
[外部数据源 (PDF/Web/Notion)]
│
▼ 1. Document Loaders (加载为 Document 对象列表)
[List[Document]]
│
▼ 2. Text Splitters (将大 Document 切分为多个小 Chunk Document)
[List[Chunk Documents]]
│
▼ 3. Embeddings & Vector Stores (提取 page_content 转换为向量,连同 metadata 一起持久化)
[向量数据库]
│
▼ 4. Retrievers (检索出最相似的 Document 对象,拼入 Prompt)
[大模型 (LLM)]
- 加载阶段:通过 Document Loaders(如
PyPDFLoader,WebBaseLoader)将网页、PDF等文档 统一解析为Document。 - 切分阶段:因为大模型有 Token 限制,Text Splitters(如
RecursiveCharacterTextSplitter)接收一个Document,将其切碎后返回一组全新的、page_content更短的Document列表,而原有的metadata会被自动复制或继承。
3. 常用方法
在实际工程中,你通常需要手动创建、转换或过滤 Document 对象。
技巧 A:手动创建与合并文档
python
from langchain_core.documents import Document
# 1. 快速手动创建
doc1 = Document(page_content="人工智能改变世界。", metadata={"source": "news"})
doc2 = Document(page_content="Python 是 AI 开发的首选语言。", metadata={"source": "blog"})
# 2. 批量处理:比如通过循环清洗、拼接文本
all_docs = [doc1, doc2] # all_docs: list[Document]
for doc in all_docs:
doc.metadata = {**doc.metadata, "processed_at": "2026-06-10"} # 字典解包,避免了绕过验证器的风险。
# 字典解包
old = {"source": "news", "author": "张三" }
{**old, "processed_at": "..."} # 等价于 {"source": "news", "author": "张三", "processed_at": "..."}
# 字典的键值对:追加/覆盖,特点:返回一个新字典,未修改原字典
技巧 B:将结构化数据(如 JSON/CSV)转化为 Document
当你拥有数据库导出的结构化数据时,可以自由决定哪些字段变为被检索的文本,哪些变为过滤的标签:
python
user_data = [
{"name": "李四", "review": "这款产品太棒了,体验丝滑。", "rating": 5},
{"name": "王五", "review": "物流太慢,客服态度一般。", "rating": 2}
]
documents = []
for item in user_data:
# 将核心评论作为检索文本
content = f"用户评论: {item['review']}"
# 将姓名和评分作为元数据过滤标签
meta = {"user": item["name"], "rating": item["rating"]}
documents.append(Document(page_content=content, metadata=meta))
技巧 C:直接利用 Document 与大模型交互
当检索出 Document 后,可以非常方便地将它们串联成大模型看得到的上下文:
python
# 假设从向量库检索出了 2 个相关的 Document
retrieved_docs = [doc1, doc2]
# 提取并拼接内容
context = "\n\n".join([d.page_content for d in retrieved_docs])
# 构建最后的 Prompt
prompt = f"请根据以下参考资料回答问题:\n\n资料:{context}\n\n问题:AI 的首选语言是什么?"
练习例子:
python
from langchain_core.documents import Document
# 访问
document1 = Document(
page_content="LangChain 是一个用于开发大语言模型应用的框架。",
metadata={"author": "张三", "page": 10}
)
print(document1)
documents = [
Document(page_content="第一章:Python 基础语法", metadata={"chapter": 1, "title": "Python 入门"}),
Document(page_content="第二章:Python 数据结构", metadata={"chapter": 2, "title": "Python 入门"}),
Document(page_content="第三章:Python 函数编程", metadata={"chapter": 3, "title": "Python 入门"}),
]
for doc in documents:
print(f"{doc.page_content}")
# 修改
document3 = Document(
page_content="原始内容",
metadata={"source": "test"}
)
document4 = {**document3.metadata, "source": "test11111"}
print(f"document3={document3}")
print(f"document4={document4}")
# 序列化,转换成JSON格式
import json
document1_json = document1.to_json()
print(f"转换格式后:\n{json.dumps(document1_json, ensure_ascii=False, indent=2)}")
# 转换格式后,{
# "lc": 1,
# "type": "constructor",
# "id": [
# "langchain",
# "schema",
# "document",
# "Document"
# ],
# "kwargs": {
# "metadata": {
# "author": "张三",
# "page": 10
# },
# "page_content": "LangChain 是一个用于开发大语言模型应用的框架。",
# "type": "Document"
# }
# }