〇、前言
在当前这个 AI 技术大爆发的时期，各行各业都在努力发展能够提升自身工作效率的技术，学习 AI 操作之前需先了解各个重要的概念，打牢基础，要对 AI全局有一个清晰的认识，才能事半功倍。因此才有了此系列文章。
本文将主要介绍 **RAG（检索增强生成）、推理（Inference）、嵌入（Embedding）**这两个概念，供参考。
AI 概念系列：点击查看文章列表。
一、什么是**"检索增强生成"**？
1.1 简介
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种将信息检索与大语言模型生成相结合的技术框架。
其核心思想是：在让大模型生成回答之前，先从外部知识库中检索出与问题相关的文档片段，然后将这些片段作为上下文"喂"给大模型，使其基于真实资料生成更准确、更有依据的回答。
简单来说，RAG 就是给大模型配了一个"开卷考试"的能力------先查资料，再答题。
1.2 为什么需要 RAG？
主要是因为大语言模型许多固有缺陷。
| 问题 | 说明 |
|---|---|
| 幻觉（Hallucination） | 模型会生成看似合理但实际错误或完全捏造的内容 |
| 知识截止 | 模型的训练数据有时间截止点，无法回答最新事件 |
| 领域知识不足 | 通用模型对企业内部文档、私有数据一无所知 |
| 无法溯源 | 模型给出的答案无法追溯到具体来源，缺乏可信度 |
| 微调成本高 | 每次知识更新都需要重新微调模型，成本高昂 |
RAG 通过引入外部知识源，在不重新训练模型的前提下，有效缓解了上述问题。
1.3 RAG 的核心工作流程
RAG 的流程可以分为离线索引阶段 和在线问答阶段 两大部分。
1）离线索引（Indexing）阶段
原始文档 → 文档分割 → 向量化（Embedding） → 存入向量数据库
文档加载： 将各种格式的文档（PDF、网页、数据库等）加载到系统中。
文档分割（Chunking）： 将长文档切分为较小的文本块（chunk），通常每个块 256~1024 个 token。
向量化（Embedding）： 使用嵌入模型（如：OpenAI text-embedding-3-small、BGE 等）将每个文本块转化为高维向量。
**存储：**将向量和原文存入向量数据库（如：Milvus、Pinecone、FAISS、Chroma 等）。
2）在线问答（Retrieval + Generation）阶段
用户提问 → 问题向量化 → 检索相似文档块 → 构建 Prompt → 大模型生成回答
问题编码： 将用户的问题通过同一个嵌入模型转化为向量。
相似度检索： 在向量数据库中进行近似最近邻搜索（ANN），找出与问题最相关的 Top-K 个文档块。
上下文构建： 将检索到的文档块拼接成上下文，与用户问题一起组装成 Prompt。
**生成回答：**将组装好的 Prompt 发送给大语言模型，模型基于提供的上下文生成最终回答。
1.4 四个关键技术细节
1）文档分割策略
分割质量直接影响检索效果，常见策略包括：
固定长度分割： 按字符数或 token 数切分，简单但可能切断语义
递归分割： 优先按段落、句子等自然边界切分
语义分割： 根据语义相似度变化点进行切分
**重叠（Overlap）：**相邻块之间保留一定重叠，避免关键信息在边界处丢失
2）向量检索
稠密检索（Dense Retrieval）： 通过嵌入模型将文本映射到向量空间，计算余弦相似度或内积
稀疏检索（Sparse Retrieval）： 传统的 BM25/TF-IDF 等关键词匹配方法
混合检索（Hybrid Retrieval）：结合稠密检索和稀疏检索的优势，先分别检索再融合排序（如：Reciprocal Rank Fusion）
3）重排序（Reranking）
初步检索返回的候选文档可能不够精准，重排序模型（如：Cohere Rerank、BGE-Reranker）会对候选文档进行二次精排，显著提升检索质量。
4）Prompt 工程
典型的 RAG Prompt 模板：
请根据以下参考资料回答用户的问题。如果资料中没有相关信息，请说明你不知道。
参考资料：
{检索到的文档块}
用户问题：{用户的问题}
请回答：1.5 RAG 的优势以及对应的应用场景
| RAG 的优势 | 对应的典型应用场景 |
|---|---|
| 减少幻觉：模型基于检索到的真实文档回答，有据可依 | 法律/医疗咨询：基于法规条文或医学文献提供专业参考，确保回答严谨准确，避免误导 |
| 知识可更新：只需更新知识库中的文档，无需重新训练模型 | 企业知识库问答：基于内部文档、规章制度、操作手册的问答系统，随时同步最新企业政策 |
| 可溯源：可以标注答案来自哪个文档的哪个段落 | 学术研究：基于论文库进行文献检索和综述生成，方便学者追溯原始文献出处 |
| 成本低：相比微调，RAG 的实施和维护成本更低 | 智能客服：基于产品文档和FAQ为客户提供准确回答，低成本应对高频、标准化的用户咨询 |
| 数据安全：私有数据留在本地知识库中，不需要发送给模型训练 | 代码助手：基于项目代码库和文档回答开发问题，在保障企业核心代码和数据隐私安全的前提下提升研发效率 |
1.6 RAG 的局限性与挑战
检索质量瓶颈： 如果检索不到正确的文档，再好的生成模型也无能为力（"垃圾进，垃圾出"）。
上下文窗口限制： 检索到的文档块过多可能超出模型的上下文长度限制。
多跳推理困难 ：需要跨多个文档进行推理的复杂问题，RAG 表现仍不理想。
切分粒度权衡： 块太大则检索不精准，块太小则丢失上下文。
**实时性要求：**对知识库更新的实时同步有一定工程挑战。
二、什么是推理？
2.1 简介
简单来说，**AI 的"推理"（Inference）就是它运用已学知识来解决新问题的过程。**即，它经过一番"思考"给出答案的那个瞬间。
要理解推理 ，首先需要了解 AI 模型的两个核心阶段：从"学习"阶段（训练）再到"应用"阶段（推理）。
训练（Training）：这是 AI 的"学习"过程。通过海量数据，模型反复试错并调整内部参数，最终学会识别数据中的规律和模式。 这个过程成本高昂，需要强大的算力支持。
推理（Inference）：这是 AI 的"应用"过程。一个已经训练好的模型，面对全新的、它从未见过的数据时，利用在训练阶段学到的"知识"和"规律"来做出判断、进行预测或生成内容。
其实，"推理"就是 AI 将"知识"转化为"能力"的关键环节，是其真正创造价值、为用户服务的过程。
可以将 AI 模型比作一位学生：训练（Training）相当于这位学生在课堂上和图书馆里，通过阅读大量书籍（数据）和做练习题（算法迭代），来学习和掌握知识。推理（Inference）相当于这位学生参加考试。他面对全新的考卷（新数据），运用自己学到的知识和解题技巧，来解答问题并写下答案。
2.2 "推理"过程详解：AI 如何"思考"？
推理过程可以理解为一个"输入-计算-输出"的流水线。
1）输入：向 AI 提出一个问题、提供一张图片或一段文字。
2）计算：这是推理的核心。**AI 模型将输入数据通过其复杂的神经网络结构进行前向传播计算。**它会基于训练时学到的统计规律，一步步地分析、计算，最终得出一个或多个最可能的结果。这个过程通常只涉及"前向传播"，计算量远小于包含"反向传播"的训练过程。
3）输出：AI 返回计算得出的答案、识别出的图片内容或生成的文本。
另外，关于前向和反向传播：
前向传播（Forward Propagation）就像学生做题并给出答案。 指的是数据在神经网络中单向流动的过程，也就是你描述中提到的"得出最可能的结果"的步骤。
**反向传播（Backward Propagation / Backpropagation）像对答案、找错因，并调整学习方法。**指的是神经网络能够"学习"和"进化"的灵魂，它通常只发生在训练阶段。
2.3 "快思考"与"慢思考"：两种推理模式
随着技术发展，AI 的推理能力有了更精细的划分，尤其在大型语言模型（LLM）中体现明显。
有以下两种：
1）**标准推理（快思考）：模型直接、快速地生成答案。**这适用于大多数简单、直接的查询，响应速度很快。
2）**高级推理（慢思考）：面对复杂问题时，模型会启动更高级的推理模式。**它会像人类一样，进行多步骤的"内部思考"，例如：
思维链（Chain of Thought）：将复杂问题拆解为一系列简单的中间步骤，逐步解决。
自我反思与验证：生成初步答案后，会回头检查其逻辑性或准确性，并进行修正。
多次尝试：对一个问题尝试多种不同的解决方法，然后选择最优解。
"慢思考"模式虽然耗时更长，但能显著提升 AI 在处理数学、编程、复杂逻辑推理等任务上的准确性和可靠性。
三、什么是 Embedding？
3.1 简介
Embedding 的本质是将人类语言（或其他非结构化数据）翻译成计算机能"理解"的数学语言------ 一组浮点数构成的向量，使得语义相近的内容在数学空间中也彼此靠近。
什么是"嵌入"？
想象一张巨大的地图。每个词、每句话、每张图片都在这张地图上拥有一个坐标。语义相近的事物，坐标就挨得近；语义无关的事物，坐标就离得远。
举个例子：
"猫"和"狗"在这张地图上几乎紧挨着------因为它们经常出现在相似的语境中（"养宠物""喂食""毛发"等）。
"猫"和"火箭"则相隔甚远------它们的语义几乎没有交集。
**用数学语言来说，Embedding 就是把离散的文本（词、句子、段落）映射到一个连续的、低维的向量空间中，每个对象变成一个由数百甚至上千个浮点数组成的数组（向量）。**例如：
"猫" → [0.12, -0.34, 0.78, ..., 0.56] // 一个 768 维的向量
"狗" → [0.15, -0.31, 0.81, ..., 0.52] // 与"猫"非常接近
"火箭" → [-0.91, 0.67, -0.12, ..., 0.03] // 与"猫"距离很远为什么需要 Embedding？
计算机天生只认识数字，不认识文字。传统的做法是给每个词分配一个编号（One-Hot 编码），比如：词表有 10 万个词，每个词就是一个 10 万维的向量，其中只有一个是 1，其余全是 0。这种方式有两个致命问题：
维度爆炸：向量太稀疏，浪费存储和计算资源。
无语义信息："猫"和"狗"的向量距离与"猫"和"火箭"完全一样------模型完全无法区分它们的关系。
Embedding 通过将高维稀疏向量压缩为低维稠密向量（如：768 维），不仅大幅降低了计算成本，还让向量之间的距离和方向携带了丰富的语义信息。
3.2 技术原理：Embedding 是怎么"学"出来的？
核心思想：从上下文中学习
Embedding 的语义能力不是人工定义的，而是通过大规模数据训练自动学到的。其核心直觉是：经常出现在相似上下文中的词，语义也相似。
比如"猫"和"狗"经常出现在类似的句子中（"我养了一只___""___在沙发上睡觉"），模型通过大量阅读，自然会把它们的向量放到相近的位置。
技术演进路线
| 阶段 | 代表模型 | 特点 |
|---|---|---|
| 静态词向量 | Word2Vec、GloVe（2013-2014） | 每个词有固定的向量，无法区分一词多义 |
| 上下文感知嵌入 | BERT、GPT（2018+） | 同一个词在不同句子中生成不同的向量 |
| 多模态嵌入 | CLIP、Gemini Embedding 2（2021+） | 文本、图像、音频统一到同一向量空间 |
一个经典的例子可以说明静态和动态嵌入的区别：
"苹果发布了新手机" → "苹果"的向量靠近"科技公司"
"苹果价格下跌" → "苹果"的向量靠近"水果"
传统 Word2Vec 中"苹果"只有一个固定向量，而 BERT 等大模型会根据上下文动态生成不同的表示。
相似度如何计算？
两个向量的"距离"决定了它们语义的相似程度，常用度量方式包括：
余弦相似度（最常用）： 衡量两个向量方向的接近程度，值域为 -1 到 1，1 表示完全相同方向（语义高度相似），0 表示正交（语义无关）。
欧氏距离： 衡量两点之间的直线距离，距离越小越相似。
**点积：**当向量被归一化为单位长度时，点积等价于余弦相似度。
3.3 核心应用场景
1）语义搜索（Semantic Search）
这是 Embedding 最经典的应用。传统关键词搜索只能匹配精确的字词，而语义搜索能理解"意思"。
用户搜索**"犬护理"** → 传统搜索只匹配包含**"犬护理"** 的文档。
语义搜索能同时找到包含**"狗训练""宠物健康"**的文档，因为它理解这些概念是相关的。
工作流程：
将所有文档通过 Embedding 模型转换为向量，存入向量数据库；
用户查询也转换为向量；
在向量空间中搜索与查询向量距离最近的文档向量；
返回对应的文档作为结果。
2）RAG（检索增强生成）
Embedding 是当前大模型应用中最热门的架构------RAG 的核心组件。
在 RAG 中，Embedding 负责将知识库中的文档切片向量化并存储，当用户提问时，通过向量相似度检索找到最相关的知识片段，再将这些片段作为上下文提供给大语言模型生成回答。
3）推荐系统
将用户行为和商品属性都编码为向量，通过计算用户向量与商品向量的相似度，实现个性化推荐。点积越高，用户对该商品感兴趣的概率越大。
4）跨模态检索
像 CLIP、Gemini Embedding 2 这样的模型，能将文本和图像映射到同一个向量空间。可以用一段文字描述去搜索匹配的图片，反之亦然。
5）其他应用
情感分析： 通过向量捕捉文本的情感倾向。
聚类分析： 将语义相近的文档自动分组。
异常检测： 在金融风控中识别与正常模式偏离的交易。
**知识图谱推理：**将实体和关系向量化，支持缺失关系的补全。
3.4 Embedding 的局限性和未来方向
局限性主要表现在四个方面。
1）数据依赖性： Embedding 的质量高度依赖训练数据的规模和质量，在专业领域（如：医学、法律）可能需要额外微调。
2）可解释性不足： 向量空间中的语义表示是"黑箱"的，人类难以直观理解每个维度的含义。
3）长文本处理： 传统 Transformer 的计算复杂度随文本长度呈平方增长，处理长文档需要特殊策略（如分段嵌入后聚合）。
4）**领域迁移困难：**通用模型在特定垂直领域可能表现不佳，需要领域自适应预训练或微调。
未来主要的发展方向如下。
多模态融合： 文本、图像、音频、视频统一嵌入，实现真正的跨模态理解
动态自适应： 根据输入实时调整嵌入策略，而非使用固定模型
知识增强： 将知识图谱中的结构化知识融入嵌入，提升推理能力
**实时个性化：**根据用户实时反馈动态调整向量空间，实现"千人千面"的搜索与推荐
四、小小的总结
RAG、推理与 Embedding 共同构成了现代 AI 系统从"理解"到"思考"再到"应用"的完整能力链条。
- Embedding 作为底层基础，将非结构化数据转化为机器可理解的语义向量，为智能系统提供了感知世界的"语言"；
- 推理则是模型在真实场景中调动知识、进行逻辑推演与决策的核心能力，决定了 AI 能否像人一样"想清楚再回答"；
- 而 RAG 则站在两者之上，通过检索外部真实知识来弥补模型自身的局限，让生成结果既可信又可溯源，成为 AI 落地企业级应用的关键范式。
三者并非孤立存在，而是相互依存、协同演进：**Embedding 为 RAG 的向量检索提供语义匹配能力，推理能力的提升让 RAG 能够更好地整合检索信息进行多步推导，而 RAG 又为推理过程注入了实时、准确的外部知识。**尽管它们各自仍面临检索质量瓶颈、可解释性不足、推理效率等挑战，但随着 Graph RAG、Agentic RAG、多模态 Embedding 以及"慢思考"推理机制的不断发展，三者的融合将推动 AI 从单纯的"答案生成器"逐步进化为真正具备认知深度与决策能力的智能伙伴，在更广阔的场景中释放价值。