RAG检索增强

目录

  • [1 RAG 完整原理与优缺点](#1 RAG 完整原理与优缺点)
    • [1.1 大模型原生三大缺陷](#1.1 大模型原生三大缺陷)
    • [1.2 RAG 概念](#1.2 RAG 概念)
    • [1.3 RAG 优缺点](#1.3 RAG 优缺点)
    • [1.4 RAG 两大阶段](#1.4 RAG 两大阶段)
  • [2 文档加载器 Loader](#2 文档加载器 Loader)
    • [2.1 Markdown 加载](#2.1 Markdown 加载)
    • [2.2 Word Docx 加载](#2.2 Word Docx 加载)
    • [2.3 PDF 专业解析 MinerU](#2.3 PDF 专业解析 MinerU)
  • [3 文本切分 RecursiveCharacterTextSplitter](#3 文本切分 RecursiveCharacterTextSplitter)
    • [3.1 为什么必须切片](#3.1 为什么必须切片)
    • [3.2 切分策略对比](#3.2 切分策略对比)
    • [3.3 代码实战](#3.3 代码实战)
  • [4 Embedding 文本嵌入](#4 Embedding 文本嵌入)
    • [4.1 嵌入模型作用](#4.1 嵌入模型作用)
    • [4.2 主流开源嵌入模型](#4.2 主流开源嵌入模型)
    • [4.3 LangChain 本地嵌入调用](#4.3 LangChain 本地嵌入调用)
  • [5 本章小结](#5 本章小结)

1 RAG 完整原理与优缺点

1.1 大模型原生三大缺陷

1 知识截止,无法获取实时 / 私有资料 2 专业领域知识缺失,容易幻觉编造 3 长文本输入效果衰减,上下文利用率低

1.2 RAG 概念

检索增强生成:先检索私有文档,把相关片段塞进 Prompt 再交给 LLM 回答

1.3 RAG 优缺点

优点: 1 不用微调,低成本更新知识库 2 答案可溯源,大幅降低幻觉 3 数据不用送入模型训练,保护隐私 缺点: 1 多一步检索,接口延迟升高 2 检索质量直接决定回答准确性

1.4 RAG 两大阶段

1 索引阶段:加载文档 → 切片 → 向量化 → 存入向量库 2 问答阶段:问题向量化 → 相似检索 → 拼接上下文 → LLM 生成

2 文档加载器 Loader

所有加载器统一接口load()/lazy_load(),输出 Document 对象(page_content 文本 + metadata 元数据)

2.1 Markdown 加载

python 复制代码
pip install unstructured[md]
from langchain_community.document_loaders import UnstructuredMarkdownLoader
loader = UnstructuredMarkdown("./test.md",mode="elements")
docs = loader.load()

2.2 Word Docx 加载

python 复制代码
from langchain_community.document_loaders import UnstructuredWordDocumentLoader
loader = UnstructuredWordDocument("demo.docx",mode="elements")

2.3 PDF 专业解析 MinerU

普通加载器无法识别表格、公式、双栏 PDF,MinerU 转为标准 Markdown 1 调用官方 API 上传 PDF 2 获取解析后 MD 文本再切片

3 文本切分 RecursiveCharacterTextSplitter

3.1 为什么必须切片

1 模型有最大 token 限制,超长文本截断丢失信息 2 完整文档噪声多,检索无关内容干扰答案

3.2 切分策略对比

1 固定字符切分:容易切断句子,语义断裂 2 递归分隔符切分(推荐):优先按段落、句号分割,保证语义完整 3 语义切分:按向量距离分割,效果好但速度慢

3.3 代码实战

python 复制代码
from langchain_text_splitters import RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(
    separators=["\n\n","\n","。","!","?"],
    chunk_size=400,
    chunk_overlap=50 # 块重叠,解决段落分割丢失上下文
)
chunks = splitter.split_documents(docs)

4 Embedding 文本嵌入

4.1 嵌入模型作用

文本转为多维浮点向量,语义相近向量距离近,用于相似度检索

4.2 主流开源嵌入模型

表格

模型 特点
BGE-small/base/large-zh 中文最优轻量模型
BGE-M3 支持稠密 + 稀疏双向量
text-embedding 系列 OpenAI 付费向量

4.3 LangChain 本地嵌入调用

python 复制代码
pip install langchain-huggingface sentence-transformers
from langchain_huggingface import HuggingFaceEmbeddings
embed = HuggingFaceEmbeddings(model_name="./bge-base-zh-v1.5")
vec = embed.embed_query("大模型RAG")

5 本章小结

1 RAG 分为「建索引」和「问答」两大流程 2 Loader 支持 MD/DOCX/PDF,复杂 PDF 优先 MinerU 3 RecursiveCharacterTextSplitter 是工业标准切片工具,chunk_overlap 防止语义断裂 4 Embedding 将文本转为向量,是向量检索基础

相关推荐
郝学胜-神的一滴几秒前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
feixing_fx32 分钟前
原始类型与引用类型:赋值时到底复制了什么
开发语言·前端·javascript·前端框架
wuyk55534 分钟前
Python办公自动化-第02讲-Excel文件认知与四大库选型
开发语言·python·excel
zdr尽职尽责1 小时前
UnityCli 兼容2022版本
ui·unity·ai·c#·游戏引擎
神明不懂浪漫1 小时前
【第八章】多线程(一)
java·开发语言·经验分享·笔记
yiangL_2 小时前
1、Python 输入输出实验|print 与 input 人机交互实践
开发语言·python·人机交互
山楂树の4 小时前
Java 泛型:泛型类、泛型方法、泛型接口与通配符
java·开发语言·笔记
利威尔xu4 小时前
2026-11-18-Go接口幂等设计实战
开发语言·后端·golang
eggwyw6 小时前
linux下的C\C++多进程多线程编程实例详解
开发语言·c++
布莱克6056 小时前
Swift 枚举详解:从基础语法到关联值与模式匹配
开发语言·ios·swift·枚举