RAG-day2

一、文本分块

1. 作用：长文档不能直接喂给大模型，必须切成小块，避免超出上下文限制、检索更精准。
2. 常见分块方式：固定大小分块、按段落分块、按语义分块。
3. 分块原则：块不能太大（冗余多）、不能太小（语义不完整）。

二、向量化与嵌入模型

1. 嵌入模型（Embedding 模型）：专门负责把文本转成向量的模型。
2. 特点：语义越相似的文本，转化后的向量数值越接近。
3. 作用：是语义检索的基础，没有向量化就做不了语义匹配。

三、向量数据库

1. 定义：专门用来存储向量、快速做相似度检索的数据库。
2. 和普通数据库区别：普通库适合精确匹配；向量库适合语义相似度匹配。
3. 常见用途：存放文档块向量、用户问题向量，供 RAG 快速检索。

四、RAG 细化完整链路（含隐藏子步骤）

文档接入→ 文本分块→ 嵌入模型向量化→ 向量入库（存向量数据库）→ 用户提问向量化→ 向量库语义检索→ 拼接检索片段 + 用户提示词→ 大模型增强生成答案

五、语义检索核心逻辑

1. 用户问题 → 转向量
2. 和向量库里所有文档块向量算相似度
3. 取出相似度最高的 Top-N 片段
4. 作为参考资料给大模型