AI应用(5)- RAG知识库理解

一些概念理解

RAG是什么

其实他就是一个知识库,你也可以理解成一个数据库(通常是包括数据库和向量库),这个数据库是需要系统来做,用户把文档数据上传到服务器,程序负责把他解析成切面+索引。然后用户提问以后,第一步改写用户提问,然后去知识库找证据,做校验,然后把问题和依据打包发给LLM。然后由大模型输出答案。

Embedding是什么

官方解释Embedding(嵌入)是一种将高维、离散或非结构化数据(如文本、图像、类别标签)映射到低维连续向量空间的技术。

其实就是把一段文字变成一段向量(数字),用来做语义相似检索的技术,他主要功能是根据用户的问题,去向量库检索同义表达,比如用户的问题是异地,他可以检索出来跨城、跨区域等关键词。

向量库 / Vector DB 是什么

向量库通俗理解类似数据库,存 chunk 的向量 + 原文 + 元数据,并提供"相似度搜索 topK"能力的数据库/服务

Chunk 切分是什么

Chunk就是把文档切成可检索的一小段一小段(证据单元),切得太大或者太小都会影响检索效果。每段尽量自包含、可引用

TopK 与召回是什么

TopK就是检索时取回最相关的 K 段证据,比如异地还车,这个词在向量库最相关的3个片段证据就是top3,召回就是这一步把可能有用的证据找回来,后续喂给大模型

相似度 是什么

相似度就是通过查询向量和文档向量有多像,然后给出一个相似度数值,用来排序谁更相关(常见 cosine)

Rerank 是什么

Rerank就是对召回结果做二次精排,把真正最相关的证据排到最前,这个根据具体需求而定

引用与可追溯 是什么

引用就是大模型回答的答案的每个关键结论能指回具体证据段

实际场景应用1

一个租车平台的场景,你有一个自动问答的客服助手,用户问:"春节期间异地还车怎么收费?优惠券能用吗?",,这个系统搭建大概分以下几个步骤
步骤1 :上传文档、计费规则、制度等等文件,然后使用Chunk将这些文档分割成一段段的,在使用Embedding将这些一段段的Chunk向量化,形成向量库,库里面包括向量 + chunk原文 + 元数据(版本/生效日期等)
步骤2 :用户问答,系统先把用户的问题改写,这里可能会利用到大模型进行改写,比如上面的问题改写成 春节 异地还车 服务费 计费规则 优惠券 是否可抵扣 异地还车 服务费 这些词,用这些改写后的词做embedding,在向量库里面搜索相似度比较高的片段,然后召回,
步骤3:把这些召回的规则或者证据+用户问题一起发给大模型(以及system规则)。然后大模型给出答案,答案里面,通常会给出一个判断性的回答,比如优惠券能不能用,并把规则贴出来,以及收费规则也会根据你发给他的Chunk整理后返回来。

实际场景应用2

上面这个主要是文档类型问答的场景,下面再说一个纯数据分析的场景,比如我租车公司有了大量的数据,我有数据库,那么借助大模型,我可以做哪些东西,如果是以前,可能只能按照各种各样的纬度,去写死模块,只能展示固定的内容,借助大模型,还是以问答的形式,用户提问,大模型解析(这种做法一般是将数据库表及字段名塞到prompt,,不然大模型不知道你数据库表结构),然后直接返回sql,系统自动查询,返回结果给大模型,大模型组织语言,返回给用户查看。。。

另外一种情况,就是你数据库表太大了,不能每次都把表的数据喂给大模型,,这时候就还是需要RAG库,系统先检索,然后把最可能的一些表和字段发给大模型。。

总结

知识库其实是自己建立的库,并不是让模型记住,而是把文档变成可以检索的库,模型在这个过程中只是读证据,综合多端证据,按照规则输出而已。

相关推荐
AI360labs_atyun21 小时前
上海打出“开源”国际牌!2025重磅新政
人工智能·科技·学习·ai·开源
GHL2842710901 天前
调用通义千问(qwen-plus)模型demo-学习
学习·ai·ai编程
2501_940391081 天前
GEO优化服务商选择的四维标尺:避开AI搜索时代的合作陷阱
ai
俊哥V1 天前
[深度分析]英伟达发布新一代 AI 芯片架构 Vera Rubin:AI 算力进入“成本—规模曲线重构”的关键时刻
人工智能·ai
GHL2842710901 天前
Temperature、Top P 学习
学习·ai
俊哥V1 天前
AI一周事件(2026年01月01日-01月06日)
人工智能·ai
向量引擎1 天前
【万字硬核】解密GPT-5.2-Pro与Sora2底层架构:从Transformer到世界模型,手撸一个高并发AI中台(附Python源码+压测报告)
人工智能·gpt·ai·aigc·ai编程·ai写作·api调用
俊哥V1 天前
[笔记.AI]谷歌Gemini-Opal上手初探
人工智能·ai·gemini·opal
code bean1 天前
【AI】AI大模型之流式传输(前后端技术实现)
人工智能·ai·大模型·流式传输