深度测评 RAG 应用评估框架：指标最全面的 RAGas

大家常说 RAG 应用是：一周出 demo，半年用不好。那么怎么评估 RAG 应用是否能够上生产了呢？如果公司人手足够，当然可以人工测试评估准确性，但指标未免单一。本文介绍一个全自动化的 rag 应用评估框架 ragas。

RAGas（RAG Assessment)[1]RAG 评估的缩写，是一个专门的解决方案用于评估、监控和提升生产环境中大语言模型（LLM）和检索增强生成（RAG）应用的性能，包括用于生产质量监控的定制模型。它除了评估，还能从数据集中生成测试集，这将极大地降低人力投入，毕竟一个良好的数据集构建是非常消耗时间和人力的。RAGas 从生成和检索两个维度评估 RAG 应用，如下图所示。

生成角度可以从忠实性 faithfulness 和回答相关性 answer relevancy 评估，而检索则从上下文精度（context precision）和上下文召回（context recall）上来测评。当然 ragas 不止这四种评测，还有答案准确性（answer correctness），上下文利用率（context utilization），上下文实体召回率（context entity recall）和噪声敏感度（noise sensitivity）等。后面会专门叙述常见的几种指标的计算。在开始评估之前，我们先安装 ragas。

pip install ragas   
​

安装好之后，我们要如何评估 RAG 呢？拿什么评估？这就必须要说如何准备评估数据集。

1. 准备评估数据集

RAGas 需要的评估数据集格式如下：

data_samples = {       'question': ['第一届超级碗是什么时候举行的？', '谁赢得了最多的超级碗冠军？'],       'answer': ['第一届超级碗于1967年1月15日举行', '赢得最多超级碗冠军的是新英格兰爱国者队'],       'contexts': [['第一届 AFL-NFL 世界冠军赛是一场美式橄榄球比赛，于1967年1月15日在洛杉矶纪念体育馆举行'],                    ['绿湾包装工队...位于威斯康星州绿湾市。', '包装工队参加...全国橄榄球联合会比赛']],       'ground_truth': ['第一届超级碗于1967年1月15日举行', '新英格兰爱国者队赢得了创纪录的六次超级碗冠军']   }   
​

包含 4 个字段，分别是question、answer、contexts和ground_truth。每一项都是一个数组列表，要注意的是，答案、上下文和基本事实和问题列表是一一对应的，即第一个问题的答案也必须是 answer 中的第一个元素，同时也必须是上下文和基本事实的第一个元素。其中上下文的每个元素都是一组字符串数组，这是因为每个问题都可以有多个上下文。

如果你人力资源足够的话，我们可以手动构建这个数据集，假设你有问题列表和基本事实列表（这一个不是必须），回答就由你自己的 RAG 应用根据问题来填充，上下文也由你的 RAG 应用填充。

此外，我们也可以使用 ragas 根据数据集自动构建。因为要读入数据，这里需要先安装 langchain 或者 llamaindex 来支持数据的读入。

pip install langchain-community==0.2.17   pip install unstructured==0.15.13   
​

然后使用如下代码，读入数据。

from langchain_community.document_loaders import DirectoryLoader      loader = DirectoryLoader("～/Projects/graphrag/input")   documents = loader.load()      for document in documents:       document.metadata['filename'] = document.metadata['source']   
​

既然要生成数据集，当然需要大语言模型的支持了，也需要 embedding 模型支持，这里采用 DeepSeek 和智谱的在线模型 API。

from langchain_openai import ChatOpenAI, OpenAIEmbeddings      generator_llm = ChatOpenAI(model="deepseek-chat", openai_api_base="https://api.deepseek.com/v1", openai_api_key="xxxx")   critic_llm = ChatOpenAI(model="deepseek-chat", openai_api_base="https://api.deepseek.com/v1", openai_api_key="xxxx")   embeddings = OpenAIEmbeddings(openai_api_base="https://open.bigmodel.cn/api/paas/v4", openai_api_key="xxxx", embedding_ctx_length=512, chunk_size=512, model="embedding-3")   
​

注意必须配置这些选项，不然它默认就是访问 OpenAI 的模型。

然后就是使用 ragas 框架的 API 来生成测试集了，首先初始化测试集生成器。

generator = TestsetGenerator.from_langchain(       generator_llm,       critic_llm,       embeddings   )   
​

然后调用 API generate_with_langchain_docs准备生成，参数为读取的 documents，生成的数据集条数 test_size 以及生成问题的分布，如简单的占比 0.5，推理的 0.25 以及多个上下文的 0.25。

testset: TestDataset = generator.generate_with_langchain_docs(     documents,     test_size=10,     distributions={simple: 0.5, reasoning: 0.25, multi_context: 0.25}   )   
​

然后我们将生成的数据集保存，以备后用。

ds = testset.to_dataset()   ds.save_to_disk("./activity_testset")   
​

生成的数据大概如下所示。

ragas 在生成数据集上还可以配置问题的难易分布。理想的评估数据集应涵盖生产中遇到的各种类型的问题，包括不同难度级别的问题。大语言模型（LLMs）通常不擅长生成多样化的样本，因为它们倾向于遵循常见路径。ragas 受 Evol-Instruct[2] 等作品的启发，采用了一种进化生成范式，系统地从提供的文档集创建具有不同特征的问题，如推理、条件、多个上下文等。这种方法确保了对管道中各个组件性能的全面覆盖，从而实现更稳健的评估过程，原理如下图所示。

但我要说的是，ragas 在生成数据集非常不完善，很难生成，全靠运气，经常报 Connection 错误，而 API 明明可以连接。另外一点是所使用的 Prompt 都是英文，有几率生成一些英文问题，即使你的输入文档是中文的。虽然你可以通过 Prompt adapation 进行本地化，但 ragas 里对于 json 的处理非常简单，不会做任何解析增强，所以生成的东西也用不了，除非手工修改。

看了一些 ragas 代码，感觉写的不咋的，但他们的评估指标和思路是挺好的。生成测试集搞了我一周，魔改代码都没能解决一堆报错，搞得我一肚子火。今天发布了最新版本 v0.2.0，已经和上述代码不兼容了。还没空测评，不知道新版本是否有解决，希望给力点吧。

2. 开始评估

上节已经提到生成数据集功能缺陷太多，所以这里为了演示，我们使用官方 Demo 中的数据集。

2.1 加载数据集

from datasets import Dataset, load_dataset   def load_amnesty_qa() -> Dataset:       # loading the V2 dataset       amnesty_qa = load_dataset("explodinggradients/amnesty_qa", "english_v2")       print(amnesty_qa['eval'].column_names)       # ['question', 'ground_truth', 'answer', 'contexts']       # amnesty_qa['eval']['contexts']       return amnesty_qa["eval"]         dataset = load_amnesty_qa()   

2.2 评估忠实性

计算 Faithfulness 就是计算忠实性。首先将答案分拆为几个声明（简单理解为句子也行），然后判断每个句子是否可以从上下文 contexts 中推断出来，如果出现过则认为是忠实的。比如将答案拆分为 3 个 claims，然后从 context 中判断有几个可以推断出来，假设为 2，那么忠实性就是 2/3。它需要回答和上下文。

from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall, context_entity_recall   from ragas import evaluate   def metric_faithfulness():       score = evaluate(dataset, metrics=[faithfulness], llm=generator_llm, embeddings=embeddings)       print(score.to_pandas())      metric_faithfulness()   

评估忠实性如下表所示。

2.3 评估答案相关性

计算答案的相关性 Answer relevancy，它基于答案推测出多个问题，然后计算用户问题和推测出的问题的相关性，也就是嵌入的相似度，然后取平均值从而得出相关性。它也需要回答和问题。

def metric_answer_relevancy():       score = evaluate(dataset, metrics=[answer_relevancy], llm=generator_llm, embeddings=embeddings)       print(score.to_pandas())      metric_answer_relevancy()   

评估结果如下表所示。

2.4 上下文精度

计算上下文精度 Context Precision，即召回的 K 个 Chunk 中，到底多少是和问题、真实答案相关的。然后基于此计算一个精度的分数。它需要问题、基本事实和上下文。

def metric_context_precision():       score = evaluate(dataset, metrics=[context_precision], llm=generator_llm, embeddings=embeddings)       print(score.to_pandas())   metric_context_precision()   

评估结果如下表所示。

2.5 上下文召回率

计算上下文召回率 Context Recall，衡量检索到的上下文与作为基本事实的一致程度。从基本事实中，提取出 Claims，然后判断每一个 Claims 是否可以从检索出的上下文中推断出来，然后计算推断出的 claims 数量和总 claims 数量。它需要问题、基本事实、上下文。

def metric_context_recall():       score = evaluate(dataset, metrics=[context_recall], llm=generator_llm, embeddings=embeddings)       print(score.to_pandas())   

评估结果如下表所示。

2.6 计算上下文实体召回率

计算上下文中实体召回 Context Entities Recall，分别从 Context 和基本事实中提取出实体，然后从中找出实体的交集并和基本事实中的实体数量做比，得出一个实体召回率。它需要上下文和基本事实。

def metric_context_entities_recall():       score = evaluate(dataset, metrics=[context_entity_recall], llm=generator_llm, embeddings=embeddings)       print(score.to_pandas())   

评估结果如下表所示。

3. 总结

本文介绍了如何使用 ragas 生成测试集，介绍了多个常用的 RAG 评估指标。本文生成测试集部分代码基于 ragas v0.1 版本编写，具有较多问题根本无法使用，升级 v0.2.0 后出现代码兼容问题无法运行，后续等我更新吧。评估部分 v0.2.0 是兼容的，并且我在 v0.1 下评估会报错类似n=1, API Connection Error等问题，在升级后完美解决了，也没有出现指标 NaN 或者 0 的情况，推荐使用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

"最先掌握AI的人，将会比较晚掌握AI的人有竞争优势"。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• ...

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• ...

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名"AI小子"。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• ...

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• ...

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。