【GPT入门】第38课 RAG评估指标概述

这里写自定义目录标题

一、RAG评估指标

二、ragas 评估

2.1 ragas介绍

复制代码
开源地址:https://github.com/explodinggradients/ragas
官方文档:https://docs.ragas.io/en/stable/

从文本生成和文本召回两个维度,进行分析:

准确性
生成内容的准确性 :评估生成的文本是否准确回答了问题,是否与相关知识源的信息一致。例如,在回答历史事件问题时,生成的内容应准确反映事件的时间、地点、人物等关键信息。
检索结果的准确性 :考查检索模块能否准确地从知识源中找到与问题相关的信息。比如,当用户询问某一科学理论时,检索系统应能精准定位到包含该理论详细解释的相关文献。
相关性
生成内容与问题的相关性 :判断生成的文本与用户提问的主题和意图是否紧密相关。生成的回答不应偏离问题的核心,要围绕问题的关键要点展开。
检索结果与问题的相关性:衡量检索出的知识与问题的匹配程度。检索结果应直接或间接地与问题所涉及的领域、概念等相关,有助于生成准确且相关的回答。

三、trulens

相关推荐
陈大鱼头1 小时前
一句话,Seed Evolving 给我做了一个 AI 小说创作 Agent
人工智能·gpt·ai
xiakq2 小时前
5 分钟接入 GPT-5.6 完整指南
gpt·openai·claude·gemini·anthropic
uncle_ll5 小时前
服务器选型、微调范式、训练优化与环境搭建
服务器·python·gpt·llm·nlp
1名持续学习的码农18 小时前
GPT Plus、GPT Pro用户第一次用Codex,项目权限和Git分支怎么设置?
人工智能·git·gpt·elasticsearch·ai编程·codex
Keepreal49621 小时前
《从零构建大模型》——从头实现GPT模型进行文本生成
gpt·深度学习·llm
京东云开发者1 天前
实测 9 款 AI 架构图工具:从 Mermaid 美化到 GPT-Image2,一份选型清单
gpt·ai编程·笔记测评
程序猿编码1 天前
用 C++ 从零写一个能训练的 GPT:标量自动微分 + Arena 内存池
开发语言·c++·gpt·transformer·模型推理
极连AI2 天前
极连AI平台解读、Codex5.6仅需0.01倍率,无需Token焦虑,极速响应
人工智能·gpt·chatgpt·aigc·ai编程·ai写作·gpu算力
嘉哥AI工具笔记2 天前
Codex 连续任务总被打断:先让任务可恢复,再判断要不要升 GPT Pro
gpt
小马9262 天前
GPT-6 Swarm 架构深度解析:从单体模型到 Agent 集群协同的范式跃迁
gpt·架构·大模型·openai·agent·分布式ai·swarm架构