【GPT入门】第38课 RAG评估指标概述

这里写自定义目录标题

一、RAG评估指标

二、ragas 评估

2.1 ragas介绍

复制代码
开源地址:https://github.com/explodinggradients/ragas
官方文档:https://docs.ragas.io/en/stable/

从文本生成和文本召回两个维度,进行分析:

准确性
生成内容的准确性 :评估生成的文本是否准确回答了问题,是否与相关知识源的信息一致。例如,在回答历史事件问题时,生成的内容应准确反映事件的时间、地点、人物等关键信息。
检索结果的准确性 :考查检索模块能否准确地从知识源中找到与问题相关的信息。比如,当用户询问某一科学理论时,检索系统应能精准定位到包含该理论详细解释的相关文献。
相关性
生成内容与问题的相关性 :判断生成的文本与用户提问的主题和意图是否紧密相关。生成的回答不应偏离问题的核心,要围绕问题的关键要点展开。
检索结果与问题的相关性:衡量检索出的知识与问题的匹配程度。检索结果应直接或间接地与问题所涉及的领域、概念等相关,有助于生成准确且相关的回答。

三、trulens

相关推荐
一缕82年的清风7 小时前
智能体“自适应慢思考”的算力黑洞:当 Claude 5.5 与 GPT-6.1 Sol 陷入推理自旋,为什么高并发架构必须重构“认知预算熔断与快慢推测执行”?
gpt·claude·gemini
AI 编程助手GPT1 天前
GPT 排的日志时间线差一小时?用 zoneinfo 复现夏令时回拨
人工智能·python·gpt
阿愚先生1 天前
【从零手写GPT(一)】:RTX 5080 环境踩坑,我装错了两次 PyTorch
人工智能·pytorch·gpt
一缕82年的清风1 天前
智能体“自主决策”的虚假繁荣:当 Claude 5.5 与 GPT-6.1 深入生产,为什么顶级架构师都在重回“确定性状态机”?
gpt·claude
AI 编程助手GPT1 天前
GPT 改完配置别直接覆盖:用 git diff 审查两份文件
git·gpt
一缕82年的清风2 天前
算力平民化神话破产:当推理成本暴降 90%,为什么生产级 Agentic 架构反而更贵更脆弱了?
gpt·claude
西索斯coding3 天前
gpt-image-2.5-sunburst 和 gemini-3.1-flash-image 差多少?60 组项目素材的成功成本评测框架
java·linux·gpt·ai
一枕槐安4873 天前
大模型 API 调用封装:统一适配 GPT、文心一言、通义千问
人工智能·gpt·文心一言·大模型api·流式输出·统一封装·多模态路由
最强小杰3 天前
gpt-image-2.5-sunburst + OpenAI SDK + Cline 怎么接?完整图生图与局部重绘教程
gpt·ios·ai·iphone
richard_first3 天前
第21章 训练一个简单的 GPT
人工智能·gpt·深度学习