基于 RAGAS 的检索增强效果评估实战

雨飞聊AI2024-04-13 16:43

大家好，我是雨飞。

RAGAS (R etrieval A ugmented G eneration Assessment), 是一个关于检索增加效果评估的框架。最近尝试了使用这个框架自动评估大模型检索增强的效果。由于官方文档写的比较简单，而且使用的是 GPT 的API，最近，GPT4 相关的 API 不太稳定，因此尝试了自己定制 LLM 去进行评估。

本文主要使用的向量模型是 BGE，然后实现了自己调用 LLM 去进行评估的全流程，API调用部分做了删减，替换之后，代码可以正常执行。 代码测试基于 ragas 版本 0.0.19

新建数据集

RAGAS 需要使用 HuggingFace 标准的 dataset 的格式，因此我们可以根据现有的格式去构建自己的数据集或者读取 HF 上现有的数据集。

读取 HF 上的数据集

python 复制代码 
from datasets import load_dataset
 
fiqa_eval = load_dataset("explodinggradients/fiqa", "ragas_eval")['baseline']
fiqa_eval

自己定义数据集

数据集包含下面四个列：

  • question: list[str], 这个是 RAG 系统中希望评测的问题。

  • answer: list[str]，由 RAG 系统生成，并提供给用户的答案，也就是需要评测的答案。

  • contexts: list[list[str]], 传入 LLM 并回答问题的上下文。

  • ground_truths: list[list[str]]]，问题的真实答案，这个在线评估的时候，可以忽略，因为我们无法有效获取真实的答案数据。

python 复制代码 
from datasets import Dataset

questions, answers, contexts, ground_truths = [], [], [], []
# The dataset in the format of ragas which the metrics will use to score the RAG pipeline with
evalsets = {
              "question": questions,
              "answer": answers,
              "contexts": contexts,
              "ground_truths": ground_truths
            }
evalsets = Dataset.from_dict(evalsets)

导入外部依赖

将我们使用的langchain、ragas以及bge和一些基础的包都导入。

python 复制代码 
import typing as t
import os
from typing import List
from datasets import load_dataset, load_from_disk
from ragas.metrics import faithfulness, context_recall, context_precision
from ragas.metrics import AnswerRelevancy
from ragas import evaluate
from ragas.llms import BaseRagasLLM
from langchain.schema import LLMResult
from langchain.schema import Generation
from langchain.callbacks.base import Callbacks
from langchain.schema.embeddings import Embeddings
from FlagEmbedding import FlagModel

自定义 LLM

自定义 LLM 需要导入 ragas 中的 BaseRagasLLM 这个类，然后复写相关的 generate 方法 和 llm 方法。在这里值得注意的是，如果我们采用 API 调用，base_llm 变量实际只是为了复写 llm 方法而添加的，并没有实际意义。如果是传递了模型本身，则 llm 方法会返回这个模型。

另外，在 generate 方法中，输入的 prompts 实际上的类型是 langchain 中的 ChatPromptTemplate ，因此我们在获取实际的字符串时需要按照指定的格式进行获取，同时最后返回的结果要包装成 LLMResult 的形式。

python 复制代码 
class MyLLM(BaseRagasLLM):

    def __init__(self, llm):
        self.base_llm = llm

    @property
    def llm(self):
        return self.base_llm

    def generate(
            self,
            prompts: List[str],
            n: int = 1,
            temperature: float = 0,
            callbacks: t.Optional[Callbacks] = None,
    ) -> LLMResult:
        generations = []
        llm_output = {}
        token_total = 0
        for prompt in prompts:
            content = prompt.messages[0].content
            text = api.main(content)  // 修改为自己的API方式调用即可
            generations.append([Generation(text=text)])
            token_total += len(text)
        llm_output['token_total'] = token_total

        return LLMResult(generations=generations, llm_output=llm_output)

自定义 Embedding

有一些指标，比如问题相关性，需要对 llm 生成的问题和原始问题计算相似度，这里我们使用自定义的 BGE 模型去计算 embedding。同样，需要继承 langchain 中的 Embeddings，然后复写几个方法就可以。

python 复制代码 
class BaaiEmbedding(Embeddings):

    def __init__(self,model_path, max_length=512, batch_size=256):
        self.model = FlagModel(model_path, query_instruction_for_retrieval="为这个句子生成表示以用于检索相关文章：")
        self.max_length = max_length
        self.batch_size = batch_size

    def embed_documents(self, texts: List[str]) -> List[List[float]]:
        return self.model.encode_corpus(texts, self.batch_size, self.max_length).tolist()

    def embed_query(self, text: str) -> List[float]:
        return self.model.encode_queries(text, self.batch_size, self.max_length).tolist()

最终代码

评价的时候就比较简单了，可以直接把需要的指标传递到 evaluate 类中，但是需要注意将对应指标的 llm 替换为我们自定义的 llm。

从实际体验的结果来说，整个框架的调用还算比较简单，但是如果想自己定制一些组件则需要对其中的代码比较熟悉才可以。而且这个代码和 langchain 耦合程度比较多，好多东西比较冗余，一旦出现了问题可能不好定位。但好在，从目前的使用来看，没发现这方面的问题。

python 复制代码 
import typing as t
import os
from typing import List
from datasets import load_dataset, load_from_disk
from ragas.metrics import faithfulness, context_recall, context_precision
from ragas.metrics import AnswerRelevancy
from ragas import evaluate
from ragas.llms import BaseRagasLLM
from langchain.schema import LLMResult
from langchain.schema import Generation
from langchain.callbacks.base import Callbacks
from langchain.schema.embeddings import Embeddings
from FlagEmbedding import FlagModel


class MyLLM(BaseRagasLLM):

    def __init__(self, llm):
        self.base_llm = llm

    @property
    def llm(self):
        return self.base_llm

    def generate(
            self,
            prompts: List[str],
            n: int = 1,
            temperature: float = 0,
            callbacks: t.Optional[Callbacks] = None,
    ) -> LLMResult:
        generations = []
        llm_output = {}
        token_total = 0
        for prompt in prompts:
            content = prompt.messages[0].content
            text = api.main(content)  // 修改为自己的API方式调用即可
            generations.append([Generation(text=text)])
            token_total += len(text)
        llm_output['token_total'] = token_total

        return LLMResult(generations=generations, llm_output=llm_output)


class BaaiEmbedding(Embeddings):

    def __init__(self,model_path, max_length=512, batch_size=256):
        self.model = FlagModel(model_path, query_instruction_for_retrieval="为这个句子生成表示以用于检索相关文章：")
        self.max_length = max_length
        self.batch_size = batch_size

    def embed_documents(self, texts: List[str]) -> List[List[float]]:
        return self.model.encode_corpus(texts, self.batch_size, self.max_length).tolist()

    def embed_query(self, text: str) -> List[float]:
        return self.model.encode_queries(text, self.batch_size, self.max_length).tolist()

# fiqa_eval = load_dataset("explodinggradients/fiqa", "ragas_eval")
fiqa_eval = load_from_disk("./fiqa_eval")
print(fiqa_eval)

my_llm = MyLLM("")
ans_relevancy = AnswerRelevancy(embeddings=BaaiEmbedding())
faithfulness.llm = my_llm
context_recall.llm = my_llm
context_precision.llm = my_llm
ans_relevancy.llm = my_llm

result = evaluate(
    fiqa_eval["baseline"].select(range(3)),
    metrics=[context_recall, context_precision, ans_relevancy, faithfulness]

)

df = result.to_pandas()
print(df.head())
df.to_csv("result.csv", index=False)

RAGSA 官方的项目为：github.com/explodinggr...

BGE 官方的项目为：github.com/FlagOpen/Fl...

雨飞同行

  • 雨飞
  • 主业是推荐算法
  • 希望通过自媒体开启自己不上班只工作的美好愿景
  • 微信：1060687688
  • 欢迎和我交朋友🫰

好了，我写完了，有启发的欢迎点赞评论🫰。新的一天，愿阳光洒在你的脸上。

相关推荐
老歌老听老掉牙29 分钟前
旋量理论：刚体运动的几何描述与机器人应用
python·算法·机器学习·机器人·旋量
无聊的小坏坏1 小时前
用递归算法解锁「子集」问题 —— LeetCode 78题解析
算法·深度优先
m0_738596321 小时前
十大排序算法
算法·排序算法
jingfeng5141 小时前
详解快排的四种方式
数据结构·算法·排序算法
MoRanzhi12031 小时前
245. 2019年蓝桥杯国赛 - 数正方形（困难）- 递推
python·算法·蓝桥杯·国赛·递推·2019
henyaoyuancc2 小时前
vla学习 富
人工智能·算法
Gyoku Mint3 小时前
机器学习×第五卷：线性回归入门——她不再模仿，而开始试着理解你
人工智能·python·算法·机器学习·pycharm·回归·线性回归
蒙奇D索大3 小时前
【数据结构】图论最短路径算法深度解析：从BFS基础到全算法综述
数据结构·算法·图论·广度优先·图搜索算法
trouvaille3 小时前
哈希数据结构的增强
算法·go
我不是小upper3 小时前
L1和L2核心区别 ！！--part 2
人工智能·深度学习·算法·机器学习
热门推荐
01【图像处理与机器视觉】XJTU期末考点02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03KGG转MP3工具|非KGM文件|解密音频04Coze扣子平台完整体验和实践（附国内和国际版对比）05YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】06【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！07零代码入门 | Coze——让大模型接入自己的数据库08海康Visionmaster-常见问题排查方法-启动阶段09DeepSeek各版本说明与优缺点分析10R-tree详解