【GPT入门】第38课 RAG评估指标概述

这里写自定义目录标题

一、RAG评估指标

二、ragas 评估

2.1 ragas介绍

复制代码
开源地址:https://github.com/explodinggradients/ragas
官方文档:https://docs.ragas.io/en/stable/

从文本生成和文本召回两个维度,进行分析:

准确性
生成内容的准确性 :评估生成的文本是否准确回答了问题,是否与相关知识源的信息一致。例如,在回答历史事件问题时,生成的内容应准确反映事件的时间、地点、人物等关键信息。
检索结果的准确性 :考查检索模块能否准确地从知识源中找到与问题相关的信息。比如,当用户询问某一科学理论时,检索系统应能精准定位到包含该理论详细解释的相关文献。
相关性
生成内容与问题的相关性 :判断生成的文本与用户提问的主题和意图是否紧密相关。生成的回答不应偏离问题的核心,要围绕问题的关键要点展开。
检索结果与问题的相关性:衡量检索出的知识与问题的匹配程度。检索结果应直接或间接地与问题所涉及的领域、概念等相关,有助于生成准确且相关的回答。

三、trulens

相关推荐
嘎嘎风20 小时前
MiniMind 学习笔记之 21 训练细节:数据、分词器、断点续训
gpt·源码阅读
cuiZero01 天前
主流大模型系列对比:GPT、GLM、DeepSeek 与 Claude 选型指南
大数据·人工智能·gpt
还是奇怪2 天前
GPT-6 Sol 与 Luna 发布后,选型还要确认什么?从官方参数到迁移验证
人工智能·gpt·openai
星哥说事2 天前
GPT-6 Astra 发布了
gpt
深频率3 天前
6倍价格买8倍速度?GPT-6.1 Sol极速版的两个倍率
人工智能·gpt
AI你一生一世3 天前
GPT-6 Astra 深度拆解:当推理模型开始为“长任务”重新设计
人工智能·gpt·大语言模型·astra·推理模型·长任务·gpt-6
Tangyuewei3 天前
GPT-6.1 Astra 被砍内情
gpt
Sammyyyyy3 天前
Claude Haiku 5.5 与 GPT-6.1 Sol 选型拆解:20 倍价差不等于 20 倍总成本,附网关分流思路
人工智能·gpt
江屿风3 天前
【Plain Language Large Model】【理清常见国内外大模型的定位和特长】流食般投喂
人工智能·gpt·claude·glm·gemini·千问·deepseek