LangChain学习--Document

在 LangChain 框架中,Document 对象是整个数据检索和 RAG(检索增强生成)流水线的核心基石 。无论是从外部加载知识、切分文本,还是将其存入向量数据库,所有的数据传输都必须被标准化封装为 Document 对象。

1. Document 的核心结构

Document 类的底层基于 Pydantic 的 BaseModel 实现。官方的设计极其精简,在最新版本中主要包含 3 个核心属性:

python 复制代码
from langchain_core.documents import Document

doc = Document(
    page_content="这是文档的核心文本内容...",
    metadata={
        "source": "https://example.com",
        "author": "张三",
        "page": 12,
        "category": "AI开发"
    },
    id="doc_001"  # 需 langchain-core >= 0.1.0,支持id
)

查看Document源码的继承关系,可以发现确实继承了Pydantic 的 BaseModel : 具体学习见BaseModel

python 复制代码
class Document(BaseMedia):
class BaseMedia(Serializable):
class Serializable(BaseModel, ABC):

属性详解:

  1. page_content (str):必填。存放纯文本内容。这是未来会转化为向量(Embedding)并最终喂给大模型(LLM)的检索核心。
  2. metadata (dict):选填(默认为空字典)。用于存放任意维度的元数据。在向量检索时,可以基于这些字段进行硬过滤(Metadata Filtering)(例如:只检索 category == "AI开发" 的文档)。
  3. id (strint):选填。文档的唯一标识。在大规模检索和更新向量数据库(增删改查)时,拥有显式的 id 至关重要,可防止重复插入。

⚠️ Document 本身(作为 Pydantic 对象)不应直接作为聊天消息发送。与 LLM 交互时,应提取其 page_content 字段,组合成纯文本 Prompt 或 Message。

2. Document 在 RAG 完整生命周期中的角色

在典型的 RAG 架构中,Document 充当了"标准通用货币"的角色,连接了以下四个核心步骤:

txt 复制代码
[外部数据源 (PDF/Web/Notion)] 
         │  
         ▼ 1. Document Loaders (加载为 Document 对象列表)
[List[Document]] 
         │  
         ▼ 2. Text Splitters (将大 Document 切分为多个小 Chunk Document)
[List[Chunk Documents]] 
         │  
         ▼ 3. Embeddings & Vector Stores (提取 page_content 转换为向量,连同 metadata 一起持久化)
[向量数据库] 
         │  
         ▼ 4. Retrievers (检索出最相似的 Document 对象,拼入 Prompt)
[大模型 (LLM)]
  • 加载阶段:通过 Document Loaders(如 PyPDFLoader, WebBaseLoader)将网页、PDF等文档 统一解析为 Document
  • 切分阶段:因为大模型有 Token 限制,Text Splitters(如 RecursiveCharacterTextSplitter)接收一个 Document,将其切碎后返回一组全新的、page_content 更短的 Document 列表,而原有的 metadata 会被自动复制或继承。

3. 常用方法

在实际工程中,你通常需要手动创建、转换或过滤 Document 对象。

技巧 A:手动创建与合并文档

python 复制代码
from langchain_core.documents import Document

# 1. 快速手动创建
doc1 = Document(page_content="人工智能改变世界。", metadata={"source": "news"})
doc2 = Document(page_content="Python 是 AI 开发的首选语言。", metadata={"source": "blog"})

# 2. 批量处理:比如通过循环清洗、拼接文本
all_docs = [doc1, doc2] # all_docs: list[Document]
for doc in all_docs:
    doc.metadata = {**doc.metadata, "processed_at": "2026-06-10"} # 字典解包,避免了绕过验证器的风险。

# 字典解包
old = {"source": "news", "author": "张三" }
{**old, "processed_at": "..."} # 等价于 {"source": "news", "author": "张三", "processed_at": "..."}
# 字典的键值对:追加/覆盖,特点:返回一个新字典,未修改原字典

技巧 B:将结构化数据(如 JSON/CSV)转化为 Document

当你拥有数据库导出的结构化数据时,可以自由决定哪些字段变为被检索的文本,哪些变为过滤的标签:

python 复制代码
user_data = [
    {"name": "李四", "review": "这款产品太棒了,体验丝滑。", "rating": 5},
    {"name": "王五", "review": "物流太慢,客服态度一般。", "rating": 2}
]

documents = []
for item in user_data:
    # 将核心评论作为检索文本
    content = f"用户评论: {item['review']}"
    # 将姓名和评分作为元数据过滤标签
    meta = {"user": item["name"], "rating": item["rating"]}
    
    documents.append(Document(page_content=content, metadata=meta))

技巧 C:直接利用 Document 与大模型交互

当检索出 Document 后,可以非常方便地将它们串联成大模型看得到的上下文:

python 复制代码
# 假设从向量库检索出了 2 个相关的 Document
retrieved_docs = [doc1, doc2]

# 提取并拼接内容
context = "\n\n".join([d.page_content for d in retrieved_docs])

# 构建最后的 Prompt
prompt = f"请根据以下参考资料回答问题:\n\n资料:{context}\n\n问题:AI 的首选语言是什么?"

练习例子:

python 复制代码
from langchain_core.documents import Document

# 访问
document1 = Document(
    page_content="LangChain 是一个用于开发大语言模型应用的框架。",
    metadata={"author": "张三", "page": 10}
)
print(document1)

documents = [
    Document(page_content="第一章:Python 基础语法", metadata={"chapter": 1, "title": "Python 入门"}),
    Document(page_content="第二章:Python 数据结构", metadata={"chapter": 2, "title": "Python 入门"}),
    Document(page_content="第三章:Python 函数编程", metadata={"chapter": 3, "title": "Python 入门"}),
]
for doc in documents:
    print(f"{doc.page_content}")

# 修改
document3 = Document(
    page_content="原始内容",
    metadata={"source": "test"}
)
document4 = {**document3.metadata, "source": "test11111"}
print(f"document3={document3}")
print(f"document4={document4}")

# 序列化,转换成JSON格式
import json
document1_json = document1.to_json()
print(f"转换格式后:\n{json.dumps(document1_json, ensure_ascii=False, indent=2)}")
# 转换格式后,{
#   "lc": 1,
#   "type": "constructor",
#   "id": [
#     "langchain",
#     "schema",
#     "document",
#     "Document"
#   ],
#   "kwargs": {
#     "metadata": {
#       "author": "张三",
#       "page": 10
#     },
#     "page_content": "LangChain 是一个用于开发大语言模型应用的框架。",
#     "type": "Document"
#   }
# }
相关推荐
风之所往_6 小时前
Python 3.11 新特性全面总结
python·python3.11
小小测试开发7 小时前
RAG检索评测实战:9种架构对比与自动化评估框架搭建
运维·人工智能·python·自动化
迷途呀7 小时前
conda使用指南
python·深度学习·机器学习·pycharm·conda
AC赳赳老秦7 小时前
OpenClaw 合规公开数据采集入门:合法边界、数据源选型与反爬规避实操指南
大数据·人工智能·python·信息可视化·php·deepseek·openclaw
阿童木写作8 小时前
Python实现跨境商品详情页自动翻译
开发语言·python·机器翻译
hhzz8 小时前
CNN猫狗图像分类实战:基于Keras+TensorFlow的卷积神经网络全流程解析
图像处理·python·深度学习·计算机视觉·cnn
老马聊技术17 小时前
HyperLPR3汽车车牌识别
python·汽车
梅雅达编程笔记20 小时前
编程启蒙|Scratch 转 Python 系列第9天:字典/哈希表积木双向对照(AI大模型参数配置表实战)
开发语言·人工智能·python·numpy·pandas
zhz521421 小时前
GIS项目中空间参考转换与MBTiles偏移:问题成因、解法与避坑
python·vue·gis