大语言模型-文本向量模型评估基准 MTEB

MTEB(Massive Text Embedding Benchmark)

涵盖112种语言的58个数据集,包含如下8种任务

1、双语文本挖掘(Bitext Mining)

任务目标: 在双语语料库中识别语义等价的句子对。

任务描述: 输入是来自两种不同语言的两个句子集,对于来自第一个句子集的句子,找到在第二个子集中最匹配的句子。模型将句子编码成向量后用余弦相似度来寻找最相似的句子对。

评估指标: F1是主要的评估指标、Accuracy、precision、recall

2、文本分类(Classification)

任务目标: 模型能够对文本的类别进行准确标注。

任务描述: 基于提供的模型生成文本向量,并使用这些向量作为特征来训练分类器,对文本进行分类。
评估指标: 准确率(多分类)、精确率(二分类)

3、文本聚类(Clustering)

任务目标: 模型能够将文本分组至N个预先没有定义的类别中。
任务描述: 基于提供的模型生成文本向量,并利用聚类模型对这些向量进行分组。

评估指标: V-Measure

4、句子对分类(Pair Classification)

任务目标: 模型能够判断一对文本之间是否存在特定关系,如语义等价或对立。
任务描述: 给定一对文本,判断其是否具有相同含义。

评估指标: AP

5、重新排序(Reranking)

任务目标: 给定一个查询语句和一组候选文本,目标是根据这组候选文本与查询语句的相关性对候选文本进行排序。
任务描述: 输入是一个查询语句以及一组候选文本的列表。模型编码文本后比较与查询语句的相似性。

评估指标: MAP

6、检索(Retrieval)

任务目标: 从大规模文档库中检索出查询语句匹配度最高的文档。
任务描述: 文本向量化后对所有查询语句和文档库中文档计算余弦相似度。得到k个相似度最高的候选文档。

评估指标: NDCG@k

7、语义文本相似度(Semantic Textual Similarity, STS)

任务目标: 模型能够估给定句子对的语义相似度。
任务描述: 基于提供的模型生成文本向量,并使用诸如余弦相似度之类的度量来计算它们之间的相似性。

评估指标: Spearman秩相关性系数

8、摘要(Summarization)

任务目标: 模型需要给机器生成的摘要打分。
任务描述: 包括一个手写摘要和机器生成摘要数据集。模型编码所有摘要,然后对于每一个机器生成摘要向量,计算其与所有手写摘要向量的距离。

评估指标: Pearson、Spearman相关性

参考:

MTEB: Massive Text Embedding Benchmark
词向量模型评估

相关推荐
爱技术的小伙子7 分钟前
【ChatGPT】 让ChatGPT模拟客户服务对话与应答策略
人工智能·chatgpt
OptimaAI35 分钟前
【 LLM论文日更|检索增强:大型语言模型是强大的零样本检索器 】
人工智能·深度学习·语言模型·自然语言处理·nlp
谢眠40 分钟前
机器学习day4-朴素贝叶斯分类和决策树
人工智能·机器学习
HelpHelp同学43 分钟前
教育机构内部知识库:教学资源的集中管理与优化
人工智能·知识库软件·搭建知识库·知识管理工具
深度学习lover1 小时前
<项目代码>YOLOv8 番茄识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·番茄识别
IT古董1 小时前
【机器学习】机器学习中用到的高等数学知识-1.线性代数 (Linear Algebra)
人工智能·python·线性代数·机器学习
baijin_cha1 小时前
机器学习基础04_朴素贝叶斯分类&决策树分类
笔记·决策树·机器学习·分类
生信与遗传解读1 小时前
基于python的线性代数相关计算
python·线性代数·机器学习
飞腾开发者1 小时前
飞腾平台Arm NN软件栈安装使用指南
linux·运维·人工智能·机器学习·计算机视觉
Watermelo6171 小时前
通过MongoDB Atlas 实现语义搜索与 RAG——迈向AI的搜索机制
人工智能·深度学习·神经网络·mongodb·机器学习·自然语言处理·数据挖掘