三、检索增强生成(RAG)技术体系

检索增强生成(RAG)是解决大模型"知识过时、事实幻觉、逻辑错误"三大核心问题的关键技术,其核心逻辑是"生成前先检索"------在模型生成回答前,从外部知识库(如文档、数据库、知识图谱)中检索与问题相关的信息,将这些信息作为"上下文"输入模型,辅助生成更准确、可靠的内容。RAG技术体系主要分为"核心技术框架"和"基础组件"两部分,前者定义了RAG的整体流程与代表性模型,后者则是支撑RAG落地的关键模块(表示学习、检索模型、知识图谱等)。

3.1 RAG核心技术框架

RAG的核心是"检索与生成的协同",通过将外部知识动态引入生成过程,弥补大模型自身知识的局限性。其技术框架经历了从"独立检索-生成"到"端到端联合优化"的演进,代表性模型(REALM、KNN-LM、FLARE、IRCOT)分别在不同阶段推动了RAG的发展。

3.1.1 RAG技术(Retrieval-Augmented Generation)核心定义与流程

  • 定义:一种融合"信息检索"与"文本生成"的技术,通过在生成阶段引入外部检索到的相关知识片段,提升生成内容的准确性、时效性和可信度,同时减少模型幻觉(生成虚假信息)。

  • 核心解决的问题

    1. 知识过时:大模型的训练数据有时间窗口(如GPT-4训练数据截止2023年4月),无法回答最新事件(如2024年奥运会冠军),RAG可通过检索实时数据补充。
    2. 事实幻觉:大模型可能生成看似合理但错误的信息(如"爱因斯坦发明了电灯"),RAG通过引用检索到的权威文档验证事实。
    3. 专业知识不足:大模型在垂直领域(如医学、法律)的专业知识有限,RAG可检索领域知识库(如医学论文)辅助回答。
  • 经典工作流程(三阶段)

    graph TD A[用户问题输入] --> B[检索阶段:从外部知识库检索相关知识片段] B --> C[融合阶段:将问题与检索到的知识片段拼接为Prompt] C --> D[生成阶段:大模型基于融合后的Prompt生成回答]
    1. 检索阶段:接收用户问题(如"2024年诺贝尔物理学奖得主是谁?"),通过检索模型从外部知识库(如新闻网站、学术数据库)中找到相关知识片段(如"2024年诺贝尔物理学奖授予XX团队,表彰其在量子计算领域的贡献")。
    2. 融合阶段:将问题与检索到的知识片段按固定格式拼接(如"根据以下信息回答问题:[知识片段] 问题:2024年诺贝尔物理学奖得主是谁?"),形成模型可理解的输入Prompt。
    3. 生成阶段:大模型(如GPT-3.5、LLaMA)基于融合后的Prompt生成回答,同时可引用检索到的知识片段作为依据(如"根据2024年诺贝尔委员会公告,得主为XX团队...")。
  • 技术分类

    • 开放域RAG:知识库覆盖广泛领域(如互联网文档),用于通用问答(如"世界上最高的山峰是哪座?")。
    • 闭域RAG:知识库限定在特定领域/私有数据(如企业内部文档、医疗病例),用于垂直场景(如"某公司2023年营收是多少?")。

3.1.2 RAG代表性关联模型

RAG技术的发展依赖于"检索与生成如何协同优化"的创新,以下四个代表性模型分别在"检索触发机制""端到端训练""长文本处理""多轮对话适配"等方向做出了关键突破。

REALM(Retrieval-Augmented Language Model Pre-training)
  • 核心定位:首个实现"检索增强预训练"的端到端模型,将检索模块融入预训练阶段,而非仅在微调阶段使用,奠定了现代RAG的基础(Google 2020年提出)。
  • 核心创新 :"预训练时即检索"
    • 传统RAG仅在下游任务(如问答)中检索,REALM在预训练阶段就引入检索模块:每次预训练的"下一词预测"任务前,先从外部知识库(如Wikipedia)检索与当前文本相关的知识片段,再结合这些片段进行预测。
    • 例如:预训练时处理"爱因斯坦因____获得诺贝尔奖",先检索"爱因斯坦 诺贝尔奖"相关知识片段("爱因斯坦因光电效应获1921年诺贝尔物理学奖"),再基于片段预测[MASK]为"光电效应"。
  • 技术原理
    • 采用"检索器(Retriever)+ 阅读器(Reader)"两阶段架构:检索器负责从知识库中召回相关片段,阅读器(基于BERT)负责结合片段和原文本进行预测。
    • 端到端训练:检索器和阅读器通过同一损失函数(下一词预测损失)联合优化,让检索器学会"为预训练任务找有用的知识"。
  • 关键贡献
    • 证明了"检索增强预训练"的有效性:REALM在常识问答(常识QA)、实体链接等任务上的性能远超传统预训练模型(如BERT)。
    • 推动RAG从"任务微调阶段的工具"升级为"预训练阶段的核心组件"。
KNN-LM(K-Nearest Neighbor Language Model)
  • 核心定位:用"K近邻检索"替代部分模型参数存储知识,实现"知识动态更新"的轻量级RAG模型(Facebook AI 2019年提出)。
  • 核心创新 :"参数知识+非参数知识结合"
    • 传统语言模型的知识全部存储在参数中(参数知识),更新知识需重新训练;KNN-LM将部分知识存储在外部"键值对数据库"(非参数知识)中,通过KNN检索动态调用。
    • 例如:生成"李白的代表作是____"时,模型先通过参数预测可能的词,再从数据库中检索"李白 代表作"的近邻片段(如"李白代表作有《静夜思》《蜀道难》"),结合两者结果输出最终答案。
  • 技术原理
    • 数据库构建:将预训练数据的"隐藏状态向量"作为"键(Key)",对应的下一个词作为"值(Value)",存储在KNN数据库中。
    • 生成时检索:模型每生成一个词,先计算当前隐藏状态与数据库中所有Key的相似度,取Top-K相似的Value,与参数预测的结果加权融合,得到最终预测概率。
  • 关键贡献
    • 实现知识的"零训练更新":只需更新外部数据库(如加入新的历史事件),无需修改模型参数,即可让模型掌握新知识。
    • 降低大模型的存储成本:将部分知识转移到外部数据库,减少模型参数量需求。
FLARE(Forward-Looking Active Retrieval augmented generation)
  • 核心定位:解决传统RAG"被动检索"缺陷的"主动检索"模型,让模型学会"预测需要检索的时机",提升长文本生成的准确性(Salesforce 2022年提出)。
  • 核心创新 :"生成中主动决定是否检索"
    • 传统RAG在生成前一次性检索所有相关知识,可能检索到无关信息(冗余)或遗漏后续生成需要的信息(不足);FLARE让模型在生成过程中"实时判断"是否需要检索------当模型预测到即将生成的内容涉及不确定知识时,主动触发检索。
    • 例如:生成"2024年欧洲杯冠军是____,其核心球员包括____"时,模型先生成"2024年欧洲杯冠军是",发现需要最新赛事信息,主动检索"2024欧洲杯冠军",得到"德国队"后继续生成;接着生成"其核心球员包括",再次检索"德国队 核心球员",得到"穆西亚拉"后完成生成。
  • 技术原理
    • 引入"检索预测器(Retrieval Predictor)":在生成每一步,预测器判断当前上下文是否需要检索(如当上下文包含"2024年""冠军"等时效性词汇时,触发检索)。
    • 多轮检索-生成循环:检索到知识后,模型结合新信息继续生成,直到完成回答,形成"生成→判断是否检索→检索→继续生成"的循环。
  • 关键贡献
    • 提升检索效率:避免无意义的检索,减少计算成本(长文本生成中检索次数减少30%-50%)。
    • 优化长文本生成质量:尤其在文章续写、报告生成等长文本场景,主动检索能确保后续内容的事实准确性。
IRCOT(Iterative Retrieval, Creation, and Optimization for Task-oriented dialogue)
  • 核心定位:专为"多轮任务型对话"设计的RAG模型,通过"迭代检索-生成-优化"流程,解决多轮对话中知识动态更新和上下文连贯的问题(Microsoft 2023年提出)。
  • 核心创新 :"多轮对话中的迭代检索与内容优化"
    • 传统RAG在单轮问答中表现较好,但多轮对话(如"帮我订一张北京到上海的机票,明天上午的,最好是国航的")中,知识需求随对话轮次动态变化,且需要保持上下文连贯;IRCOT通过多轮迭代,逐步补充所需知识,并优化生成内容。
    • 例如:用户先问"北京到上海明天上午的国航机票有吗?",模型检索航班信息后回答;用户接着问"那下午的呢?",模型基于上一轮对话上下文(北京到上海、国航),仅补充检索"下午航班"信息,无需重新检索所有内容,同时确保回答连贯("下午的国航航班有14:00和16:30两班...")。
  • 技术原理
    • 三阶段迭代:
      1. 检索阶段:基于对话历史和当前轮次问题,检索相关知识(如航班信息、用户偏好)。
      2. 生成阶段:结合检索知识和对话上下文,生成初步回答。
      3. 优化阶段:判断初步回答是否完整(如是否遗漏航班时间、价格),若不完整则重新检索补充知识,迭代优化回答。
  • 关键贡献
    • 适配多轮对话场景:解决传统RAG在对话中"上下文割裂"和"知识重复检索"的问题。
    • 提升任务型对话的实用性:在机票预订、酒店推荐等服务场景,能更精准地满足用户动态需求。

3.2 RAG基础组件

RAG的落地依赖三大核心基础组件:表示学习(Embedding模型) 负责将文本/图像转化为可检索的向量,检索模型体系 负责从知识库中高效召回相关内容,知识图谱提供结构化知识补充非结构化文本检索的不足。三者协同构成RAG的技术底座。

3.2.1 表示学习:Embedding模型

Embedding模型是RAG的"翻译官",负责将人类可理解的文本(或图像、音频)转化为机器可计算的低维稠密向量(Embedding向量)。向量的相似度直接对应文本语义的相似度------两个向量越相似,对应的文本内容越相关,这是RAG检索阶段的核心依据。

核心作用
  • 将非结构化数据(文本、图像)转化为结构化向量,支持高效的相似度计算(如余弦相似度)。
  • 确保"问题向量"与"知识库片段向量"在同一语义空间中,让检索器能找到真正相关的内容(如"诺贝尔物理学奖2024"的问题向量,能匹配到"2024诺贝尔物理学奖得主"的文档向量)。
传统词嵌入:Word2vec
  • 定义:2013年由Google提出的经典词嵌入模型,通过"上下文预测"将单个词转化为固定维度的向量(如300维),是早期语义表示的基础。
  • 技术原理
    • 两种训练方式:
      1. CBOW(Continuous Bag-of-Words):通过上下文词预测中心词(如用"我""爱""中国"预测中心词"在")。
      2. Skip-gram:通过中心词预测上下文词(如用"爱"预测"我""中国")。
    • 核心假设:"上下文相似的词,语义相似"(如"猫"和"狗"常出现在"宠物""喂养"等上下文,因此向量相似)。
  • 在RAG中的局限性
    • 仅支持单个词的嵌入,无法处理句子/段落级文本(RAG检索的是句子或文档片段,而非单个词)。
    • 无上下文依赖性:同一个词在不同语境下向量相同(如"苹果"在"苹果手机"和"吃苹果"中向量一致,无法区分语义差异)。
  • 适用场景:仅适用于简单的关键词匹配检索,现代RAG中已很少直接使用,多作为基础语义表示的参考。
现代稠密Embedding模型(RAG核心选择)

现代模型针对RAG场景优化,支持句子/段落级嵌入,且能捕捉上下文语义差异,是当前RAG的主流选择。

模型名称 核心特点 适用场景 优势 开源情况
Sentence-BERT 基于BERT改造,通过对比学习优化句子嵌入,支持128-768维向量生成 通用文本检索(如新闻、论文) 语义相似度计算准确,推理速度快 开源(Hugging Face)
E5(Embedding Enables Everything) 专为检索任务设计,采用"检索式预训练任务"(如"查询-文档"匹配),检索精度高 专业领域检索(如法律、医疗) 针对检索场景优化,小样本下性能优异 开源(Hugging Face)
bge-base(BAAI General Embedding) 中文支持友好,兼顾检索精度与速度,提供多语言版本 中文场景检索(如中文文档、对话) 中文语义理解准确,模型体积小(1.2GB) 开源(Hugging Face)
CLIP(多模态) 支持图像和文本的统一嵌入,实现"文搜图""图搜文" 多模态RAG(如图文问答) 跨模态语义对齐能力强,适配多模态场景 开源(OpenAI)
  • 关键技术特点
    1. 句子级/段落级嵌入:直接处理长文本(如512token的段落),输出单个向量代表整个文本的语义。
    2. 上下文敏感:同一个词在不同语境下向量不同(如"苹果"在"苹果手机"中与"iPhone"向量接近,在"吃苹果"中与"水果"向量接近)。
    3. 对比学习优化:通过"正样本(语义相关的文本对)"和"负样本(语义无关的文本对)"训练,让相关文本的向量距离更近,无关文本更远。
  • 在RAG中的应用流程
    1. 知识库Embedding构建:将知识库中的所有文档/片段通过Embedding模型转化为向量,存储到向量数据库(如FAISS、Milvus)中。
    2. 问题Embedding生成:用户问题输入后,用同一Embedding模型转化为向量。
    3. 相似度检索:计算问题向量与知识库中所有向量的余弦相似度,取Top-K相似的向量对应的文档片段,作为检索结果。

3.2.2 检索模型体系

检索模型是RAG的"信息筛选器",负责从海量知识库中快速找到与问题最相关的内容。根据检索原理的不同,可分为稀疏检索稠密检索向量检索(工程实现)重排序模型四类,实际应用中常组合使用(如"稀疏检索+稠密检索+重排序")以平衡效率和精度。

稀疏检索模型:TF-IDF、BM25
  • 定义:基于"关键词匹配"的检索方法,通过统计文本中关键词的出现频率和重要性,计算问题与文档的相似度,因特征向量(关键词权重)中大部分元素为0(稀疏)而得名。

  • 核心原理

    1. TF-IDF(Term Frequency-Inverse Document Frequency)
      • TF(词频):关键词在当前文档中出现的次数(如"诺贝尔"在某文档中出现5次,TF值高)。
      • IDF(逆文档频率):关键词在整个知识库中出现的文档比例的倒数(如"诺贝尔"仅在1%的文档中出现,IDF值高;"的"在99%的文档中出现,IDF值低)。
      • 相似度计算:问题与文档的相似度 = 求和(问题中每个词的TF×IDF × 文档中该词的TF×IDF)。
    2. BM25(Best Matching 25)
    • 改进重点:TF-IDF的改进版本,解决了TF-IDF中"词频过高导致权重无限增大"的问题,引入"词频饱和函数"(当词频超过某个阈值后,权重增长放缓)

    • 核心公式
      BM25(Q,D)=∑t∈QIDF(t)×TF(t,D)×(k1+1)TF(t,D)+k1×(1−b+b×∣D∣avgdl) BM25(Q,D) = \sum_{t \in Q} IDF(t) \times \frac{TF(t,D) \times (k_1+1)}{TF(t,D) + k_1 \times (1 - b + b \times \frac{|D|}{avgdl})} BM25(Q,D)=t∈Q∑IDF(t)×TF(t,D)+k1×(1−b+b×avgdl∣D∣)TF(t,D)×(k1+1)

    • 参数说明

      参数 含义 作用
      k1k_1k1 词频饱和度参数 控制词频饱和程度,通常取值1.2-2.0
      bbb 长度归一化参数 控制文档长度对权重的影响,通常取值0.75
      DDD 当前文档长度 文档中的词项数量
      avgdlavgdlavgdl 平均文档长度 知识库所有文档的平均长度
  • 优势与局限性

    维度 TF-IDF BM25(改进版)
    优点 计算简单,速度快,可解释性强(能看到关键词匹配情况) 解决词频饱和问题,检索精度高于TF-IDF
    缺点 词频过高时权重失真,无法捕捉语义相关性(如"手机"和"智能手机"视为无关) 仍依赖关键词匹配,无法处理同义词、语义相关词
  • 适用场景

    • 知识库文档结构清晰、关键词明确的场景(如技术文档、法规条文)。
    • 作为"初步检索"(First-stage Retrieval),快速从海量文档中筛选出候选集(如从100万篇文档中筛选出1000篇候选),再交给后续模型优化。
稠密检索模型
  • 定义:基于"语义相似度"的检索方法,通过Embedding模型将问题和文档转化为稠密向量(所有元素非0),通过计算向量相似度(如余弦相似度)判断相关性,核心是"语义匹配"而非"关键词匹配"。
  • 核心原理
    • 与稀疏检索的本质区别:稀疏检索关注"词是否出现",稠密检索关注"语义是否相关"(如"手机"和"智能手机"向量相似,即使关键词不完全一致,也能被检索到)。
    • 训练方式:通过"对比学习"训练检索模型(如Sentence-BERT、E5),让相关的"问题-文档对"向量距离近,无关的距离远。
  • 优势与局限性
    • 优势:
      1. 语义理解能力强:能处理同义词、多义词、语义相关词(如"诺贝尔物理奖"和"诺贝尔物理学奖得主"可匹配)。
      2. 少样本/零样本适配性好:在小样本场景下,性能远超稀疏检索。
    • 局限性:
      1. 计算成本高:直接对海量向量(如100万)计算相似度是O(n)复杂度,速度慢于稀疏检索。
      2. 可解释性差:无法直观看到哪些关键词导致匹配,只能通过向量相似度判断。
  • 适用场景
    • 对语义理解要求高的场景(如开放域问答、多轮对话)。
    • 作为"二次检索"(Second-stage Retrieval),对稀疏检索的候选集进一步筛选(如从1000篇候选中筛选出100篇更相关的)。
向量检索模型(侧重工程实现)
  • 定义:针对稠密向量的"高效检索工程方案",通过构建特殊的索引结构,将稠密检索的O(n)复杂度降低到O(log n),解决海量向量检索的效率问题。

  • 核心目标:在保证检索精度损失可控的前提下,大幅提升稠密向量的检索速度,满足实际应用的低延迟需求(如毫秒级响应)。

  • 常用索引结构

    索引类型 核心原理 优点 缺点 代表工具
    IVF(Inverted File) 将向量空间划分为多个聚类(如1000个),先找到问题向量所在的聚类,再在聚类内计算相似度 速度快,适合超大规模向量(亿级) 精度略低(仅在聚类内检索,可能遗漏全局最优) FAISS、Milvus
    HNSW(Hierarchical Navigable Small Worlds) 构建多层导航图,通过"跳级搜索"快速定位相似向量(类似地铁线路图,先找大站点,再找小站点) 精度高,速度快,平衡效果好 索引构建时间长,内存占用大 FAISS、Milvus、Weaviate
    Annoy(Approximate Nearest Neighbors Oh Yeah) 构建随机二叉树,通过多棵树的投票找到近似最近邻 实现简单,内存占用小 精度中等,不适合动态更新向量库 Annoy
  • 在RAG中的应用

    • 作为稠密检索的"工程载体",将知识库的Embedding向量构建成向量索引,存储在向量数据库中(如Milvus、Weaviate)。
    • 实际检索时,先通过向量数据库的索引快速召回Top-K相似向量,再返回对应的文档片段。
重排序模型(Retrieval Reranking)
  • 定义:对前两阶段检索(稀疏/稠密检索)得到的候选集(如Top-100)进行"二次排序"的模型,通过更精细的语义匹配,提升最终检索结果的精度,是RAG检索阶段的"最后一公里优化"。
  • 核心原理
    • 前两阶段检索关注"召回率"(尽量多召回相关文档),但可能混入无关文档;重排序模型关注"精确率"(从候选集中挑出最相关的),通过更复杂的模型(如交叉编码器)计算问题与每篇文档的精细相似度,重新排序。
  • 常用技术类型
    1. 交叉编码器(Cross-Encoder)
      • 将问题和文档拼接后输入模型(如BERT),通过模型的[CLS] token输出相似度分数。
      • 优点:语义匹配精度极高(能捕捉细粒度语义差异,如"诺贝尔物理奖"和"诺贝尔化学奖"的区别)。
      • 缺点:计算成本高(需对每个候选文档单独计算,Top-100候选需计算100次)。
    2. 单塔编码器(Bi-Encoder)
      • 问题和文档分别通过两个独立的编码器生成向量,再计算相似度(与稠密检索类似)。
      • 优点:速度快(可批量计算向量)。
      • 缺点:精度略低于交叉编码器。
  • 典型代表模型
    • Cross-Encoder(基于BERT-base/roberta-base):适用于候选集较小(Top-100以内)的场景。
    • ColBERT(Contextualized Late Interaction):结合交叉编码器的精度和单塔编码器的速度,通过"上下文词向量交互"计算相似度,是当前RAG重排序的主流选择。
  • 在RAG中的应用价值
    • 用较低的计算成本(仅处理Top-100候选)大幅提升检索精度,例如:稀疏检索的Top-10准确率为60%,经过重排序后可提升至85%以上。
检索模型组合策略(RAG最佳实践)

实际应用中,单一检索模型难以平衡"召回率、精度、速度",通常采用"多阶段组合策略":

  1. 第一阶段(召回) :用稀疏检索(BM25) 从海量文档(如100万篇)中快速召回Top-1000候选(保证召回率,速度快)。
  2. 第二阶段(筛选) :用稠密检索(Sentence-BERT) 从Top-1000候选中筛选出Top-100(提升语义相关性)。
  3. 第三阶段(排序) :用重排序模型(Cross-Encoder) 对Top-100候选重新排序,输出Top-10作为最终检索结果(保证精度)。

该策略实现了"海量文档→快速召回→语义筛选→精细排序"的全流程优化,是当前工业界RAG的标准检索链路。

3.2.3 知识图谱(补充关联)

知识图谱是RAG的"结构化知识源",以"实体-关系-实体"的三元组形式存储知识(如"爱因斯坦-获得-诺贝尔物理学奖"),与非结构化文本检索协同,解决RAG中"事实性错误"和"逻辑推理不足"的问题。

核心定义与结构
  • 定义 :一种结构化的知识表示框架,通过三元组(Subject, Predicate, Object)描述实体之间的关系,形成网状知识结构。
    • 示例三元组:
      • (2024年诺贝尔物理学奖,得主,德国量子计算团队)
      • (德国量子计算团队,核心成员,穆西亚拉)
      • (穆西亚拉,所属机构,慕尼黑大学)
  • 核心组件
    • 实体:知识图谱中的基本单元(如"2024年诺贝尔物理学奖""德国量子计算团队")。
    • 关系:实体之间的关联(如"得主""核心成员""所属机构")。
    • 属性:实体的特征描述(如"2024年诺贝尔物理学奖"的属性"颁奖时间:2024年10月")。
在RAG中的核心作用

知识图谱与非结构化文本检索(如文档检索)形成互补,主要解决以下问题:

  1. 提升事实准确性

    • 非结构化文本可能存在错误或歧义(如"爱因斯坦发明了电灯"),知识图谱的三元组是经过验证的结构化事实,可作为"事实校验器"。
    • 例如:RAG生成"爱因斯坦发明了电灯"时,检索知识图谱发现"电灯-发明者-爱迪生"的三元组,可修正回答为"爱迪生发明了电灯,爱因斯坦因光电效应获诺贝尔物理学奖"。
  2. 增强逻辑推理能力

    • 知识图谱的网状结构支持多步推理(如从"2024诺贝尔物理学奖得主是德国团队"→"德国团队核心成员是穆西亚拉"→"穆西亚拉来自慕尼黑大学",推理出"2024诺贝尔物理学奖得主与慕尼黑大学相关")。
    • 例如:用户问"2024诺贝尔物理学奖得主的所属机构有哪些?",RAG可通过知识图谱的多步推理,整合分散的实体关系,生成完整回答。
  3. 优化检索效率

    • 知识图谱可作为"检索引导器",先通过实体匹配定位相关知识(如用户问"诺贝尔物理奖2024",先从知识图谱找到"2024年诺贝尔物理学奖"实体,再根据实体关联的文档片段进行检索),减少无关检索。
与RAG的协同方式
  1. 混合检索(Hybrid Retrieval)

    • 同时检索"非结构化文本库"和"知识图谱",将文本片段和三元组知识融合为上下文,输入生成模型。
    • 示例流程:
      • 用户问题:"2024诺贝尔物理学奖得主的核心贡献是什么?"
      • 文本检索:从学术数据库中找到该团队的论文摘要(非结构化文本)。
      • 知识图谱检索:从知识图谱中找到"2024年诺贝尔物理学奖-核心贡献-量子计算纠错技术"的三元组。
      • 融合上下文:"根据论文摘要:[文本片段];根据知识图谱:2024年诺贝尔物理学奖得主的核心贡献是量子计算纠错技术。问题:...?"
      • 生成回答:结合两者信息,生成准确且有依据的回答。
  2. 知识增强Embedding

    • 将知识图谱的三元组信息融入Embedding模型训练,让向量更准确地捕捉实体关系(如"2024诺贝尔物理学奖"的向量与"量子计算"的向量距离更近)。
    • 例如:用"爱因斯坦-获得-诺贝尔物理学奖"三元组训练Embedding模型,让"爱因斯坦"和"诺贝尔物理学奖"的向量相似度提升,检索时更易匹配相关内容。
典型应用场景
  • 垂直领域问答:如医疗领域("糖尿病的治疗药物有哪些?",知识图谱提供"糖尿病-治疗药物-胰岛素"等三元组,文本检索提供药物使用说明)、金融领域("某公司的股东有哪些?",知识图谱提供股权关系,文本检索提供最新股东变更公告)。
  • 复杂逻辑推理:如历史事件分析("某历史人物的主要成就与哪些机构相关?",通过知识图谱的多步关系推理整合信息)。
相关推荐
im_AMBER3 小时前
React 06
前端·javascript·笔记·学习·react.js·前端框架
特立独行的猫a3 小时前
ESP32使用笔记(基于ESP-IDF):小智AI的ESP32项目架构与启动流程全面解析
人工智能·架构·esp32·小智ai
Tiandaren3 小时前
自用提示词01 || Prompt Engineering || 学习路线大纲 || 作用:通过启发式的问题来带动学习
人工智能·pytorch·深度学习·nlp·prompt·1024程序员节
IT_陈寒3 小时前
React 19重磅前瞻:10个性能优化技巧让你少写30%的useEffect代码
前端·人工智能·后端
国科安芯3 小时前
AS32S601ZIT2抗辐照MCU在商业卫星飞轮系统中的可靠性分析
服务器·网络·人工智能·单片机·嵌入式硬件·fpga开发·1024程序员节
应用市场4 小时前
STM32卡尔曼滤波算法详解与实战应用
人工智能·stm32·算法
大象耶4 小时前
自然语言处理前沿创新方向与技术路径
论文阅读·人工智能·深度学习·计算机网络·机器学习
AI人工智能+4 小时前
从海量文档到精准数据:文档抽取技术驱动金融财税决策新范式
人工智能·nlp·ocr·文档抽取