RAG & Grounding

众所周知LLM是已经训练好的AI模型，仅能掌握其在通用领域内的内容回复。

模型默认是不知道特定企业的财务，订单状态，私有文档等等数据。

而在企业环境中，Hallucination(AI 幻觉)又非常的危险，因为AI可能会生成错误的订单号，错误的合同内容，编造出来的条款。这就是 Grounding 要解决的核心问题。

什么是Grounding?

Grounding所做的事情就是让模型基于真实数据进行回答。

• 没有 Grounding的情况下：
  用户问：当前销售订单 12345 状态？ 模型可能回答一个"看起来合理"的状态。
• 有 Grounding的情况下：
  系统先从 SAP 查询真实数据："订单状态：已发货"
  然后把这条数据作为上下文提供给模型。
  模型只能基于这条数据回答。

通过 Grounding 获得事实性与情境化数据(Factual and Context-Specific)

LLM天生存在"知识截止时间"（knowledge cutoff），这意味着它们无法访问实时数据或企业的专有信息。当模型遇到知识缺口时，可能会生成听起来可信但实际上错误或虚构的信息。在企业级应用场景中，准确性和可信度是不可妥协的要求，因此必须克服这些固有限制。

在 SAP Business AI 的语境下，Grounding 指的是将 AI 的输出锚定在可靠的、特定情境下的、事实性数据之上。其核心原则是确保 LLM 的回答不仅流畅，而且准确、可信，并且与组织内部知识或经过验证的外部数据直接对齐。

通过确保回答来源于可信数据源（例如 SAP 系统、内部文档或经过筛选的外部数据库），Grounding 可以：

• 减少幻觉：通过提供正确信息，引导 LLM 避免生成虚假陈述。
• 提高可靠性与可信度：输出结果有可验证的数据支持，因此更加可信。
• 对齐组织知识体系：模型能够使用企业语言，理解企业规则与专属数据。
• 确保情境相关性：回答与用户当前业务情境及企业实时运营状态保持一致。

什么是RAG ?

Retrieval-Augmented Generation, 检索增强生成。

RAG 提供了一种架构模式和工作流程，用于系统性地实现 Grounding。RAG可以通过从外部知识库或数据库中检索相关数据，并利用这些数据增强 LLM 的生成能力，从而确保模型能够访问实时、特定领域的信息，生成与情境相关且基于事实的输出。

RAG 的工作流程:

1. 用户提问
2. 系统从企业数据源检索相关内容: SAP数据 内部文档 数据库 知识库
3. 把检索结果放入
4. prompt 模型基于这些数据生成回答

RAG 是如何实现 Grounding的？

第一步：检索（Retrieval，R）

当应用收到用户问题（例如："销售订单 12345 的状态是什么？"）时，首先会触发检索流程。

该流程会搜索预设的内部数据源（例如 SAP S/4HANA、CRM、内部文档、数据库或数据湖），寻找与该问题高度相关的信息。通常涉及：

• 将文档和数据转换为数值表示（Embedding）
• 存储到专用数据库（向量数据库）
• 将用户问题也转换为 Embedding
• 通过语义相似度搜索找到最相关的信息片段（Chunks）

第二步：增强（Augmentation， A）

检索到的权威信息会被动态加入发送给 LLM 的 Prompt 中。

这意味着，模型收到的不仅是用户问题，还有它回答所需的具体、可验证事实。

这一关键步骤实现了对 LLM 的"Grounding"。

第三步：生成（Generation，G）

在增强后的 Prompt 基础上，LLM 生成回答。

由于必要的事实已明确包含在上下文中，模型能够生成：准确，情境相关，无幻觉，基于真实来源的结果

Grounding 与 RAG 的关系

Grounding 是目标, RAG 是实现 Grounding 的主流方法，尤其在企业场景中极具价值，因为企业应用通常需要实时数据与专有数据支持。

一类典型应用：企业知识问答系统

1. 内部 IT 支持
   员工问：如何重置 SAP 密码？
   没有 RAG：模型可能生成通用答案,与公司政策不一致,提供错误步骤
   有 RAG：系统从内部 IT 文档中检索最新版本,把步骤作为上下文,模型基于真实文档生成回答
2. 客服场景
   客户问：这个产品的保修期多久？
   RAG 流程：检索产品规格书，检索维修政策，检索地区差异条款，基于真实数据生成回答
3. HR场景
   员工问：国际航班报销标准是多少？
   RAG 可以：检索最新 HR 手册，检索地区补充政策，检索差旅等级规则

第二类：增强型商业智能（BI）

1. 财务分析

   用户问：总结 Q4 欧洲财务趋势。

   系统：检索 SAP 财务报表，抽取关键段落，提供真实数据，生成趋势分析

   模型的角色：解释数据，而不是创造数据。

2. 市场竞争分析

   用户问：基于最新市场调研，做竞争分析。

   RAG：检索最新调研报告，检索行业数据，模型整合生成结构化报告