一、文本分块
- 作用：长文档不能直接喂给大模型，必须切成小块，避免超出上下文限制、检索更精准。
- 常见分块方式：固定大小分块、按段落分块、按语义分块。
- 分块原则：块不能太大（冗余多）、不能太小（语义不完整）。
二、向量化与嵌入模型
- 嵌入模型（Embedding 模型）：专门负责把文本转成向量的模型。
- 特点：语义越相似的文本，转化后的向量数值越接近。
- 作用：是语义检索的基础，没有向量化就做不了语义匹配。
三、向量数据库
- 定义：专门用来存储向量、快速做相似度检索的数据库。
- 和普通数据库区别：普通库适合精确匹配；向量库适合语义相似度匹配。
- 常见用途：存放文档块向量、用户问题向量，供 RAG 快速检索。
四、RAG 细化完整链路（含隐藏子步骤）
文档接入→ 文本分块→ 嵌入模型向量化→ 向量入库（存向量数据库）→ 用户提问向量化→ 向量库语义检索→ 拼接检索片段 + 用户提示词→ 大模型增强生成答案
五、语义检索核心逻辑
- 用户问题 → 转向量
- 和向量库里所有文档块向量算相似度
- 取出相似度最高的 Top-N 片段
- 作为参考资料给大模型