RAG 入门到精通 - 一次完整的评估过程

前面两篇文章都是在讲系统的构建,现在自己构建的系统基本上已经能构成一个闭环。但是,真正需要做的事儿才刚开始呢。

系统的构建本质上是为了服务于整个业务流程,我们不能只做系统,不断的迭代、优化数据,才是让RAG系统发生质变的关键。

回到我们项目中来看。初始的三篇文档中有两篇是我抓的,"咖啡冲煮技巧"是我生成的。

这里就会面临一个问题。我怎么知道现阶段我准备的数据是否足够?能满足普通顾客的日常咨询问题吗?

构建初始的数据集

我借助 Agent,帮我模拟两个角色来分别回答。

首先,作为买家,从手冲新手和进阶玩家这两种角度来提问。这里的意图是,让我知道有哪些问题是咨询频率最高的。

其次,作为卖家,对这两种问题进行回答。先参考平时大家怎么回复的,这里不需要参考我的文档。

之所以这样做,是因为我本身并没有标准答案。我让 Agent 给出的答案也是大家回复中最常见的,那这种模型生成的回复,我把它当作基准水平。我要做的是让 RAG 的回答,尽量靠近我们的基准水平。

评估并根据反馈进行改进

接着需要将生成的CSV拿去跑评估,得到评估的结果。

然后,再让 Agent 分析,接下来要优化的方向有哪些,给出参考意见。

这一套下来就是一次数据评估的过程,后面就看优化的取舍了。目前我肯定希望优先补数据和加子标题,这是最简单的。

至于话术的部分,那就在说吧,毕竟我也不直到真正的话术该是咋样的啊~

相关推荐
隔窗听雨眠1 小时前
OceanBase接入DeepSeek:数据库与AI的深度融合如何改写企业数据规则
数据库·人工智能·oceanbase
民乐团扒谱机1 小时前
【微实验】倒谱算法(Cepstrum)深度解析:原理、数学推导与代码实现
人工智能·算法·语音识别
研华科技Advantech1 小时前
案例 | 从离线巡检到在线看护:研华PHM解决方案赋能石油钻井平台智能运维
运维·人工智能·边缘计算
Elastic 中国社区官方博客2 小时前
你的 AI agent 不需要你的 API 密钥:使用 OAuth 2.1 对 Elasticsearch MCP 服务器进行身份验证
大数据·运维·人工智能·elasticsearch·搜索引擎·全文检索
airobotcn2 小时前
AI Agent下工厂:大模型如何驱动巡检机器人自主决策
人工智能·机器人·自动化·无人机
能源革命2 小时前
AI+能源前沿2026-08-15
人工智能·能源
Dawson Zhu2 小时前
为什么智能体 Agent 需要本体 Ontology
人工智能·语言模型·架构·制造·agi
恣逍信点2 小时前
《凌微经》静态自悖——变化之自因
人工智能·科技·算法·机器学习·业界资讯·拓扑学·哲学
在世修行3 小时前
深度图像数据格式与RAW文件解析:从字节到三维世界的桥梁
人工智能·数码相机·计算机视觉