大模型训练数据集汇总

大模型训练数据集汇总

LLM数据集总结

GLUE

简介

当前大多数以上词级别的NLU模型都是针对特定任务设计的,而针对各种任务都能执行的通用模型尚未实现。为了解决这个问题,作者提出了GLUE,希望通过这个评测平台促进通用NLU系统的发展。

任务

  1. GLUE基准测试包含9个英语句子理解任务,涵盖广泛的领域和数据规模。这9个任务包括:
  • CoLA: 语法可接受性判断,判断一个句子是否符合英语语法
  • SST-2: 情感分析,判断电影评论的情感极性
  • MRPC: 释义判断,判断两个句子是否在语义上等价
  • STS-B: 语义相似度,评价两个句子的语义相似度
  • QQP: 释义判断,判断Quora中的问题对是否语义等价
  • MNLI: 自然语言推理,判断一个句子是否可以从另一个句子推断出来
  • QNLI: 将SQuAD问题回答任务改编为自然语言推理任务
  • RTE: 文本蕴含,判断一个文本片段是否可以从另一个文本片段推断出来
  • WNLI: 将Winograd Schema Challenge改编为自然语言推理任务

数据集大小

  1. 任务数据集大小如下:
  • CoLA: 8500
  • SST-2: 67000
  • MRPC: 3700
  • STS-B: 7000
  • QQP: 364000
  • MNLI: 393000
  • QNLI: 108000
  • RTE: 2500
  • WNLI: 634

SQuAD

简介

斯坦福问答数据集(SQuAD),这是一个由众包工作者在维基百科文章上提出的10万多个问题的阅读理解数据集,每个问题的答案都是相应阅读段落的一部分文本。
SQuAD数据集的构建分为三个阶段:1. 筛选文章;2. 通过众包的方式在这些文章上收集问题-答案对;3. 收集额外的答案。首先,作者通过Project Nayuki的内部PageRanks从英语维基百科中获取了前10000篇文章,然后从这些文章中随机抽取了536篇。从这些536篇文章中提取了单独的段落,并去除了图像、图表等。

选择使用维基百科文章作为语料库的原因是,维基百科文章涵盖了广泛的主题,从音乐名人到抽象概念。此外,维基百科内部PageRanks可以帮助获取高质量的文章。通过众包的方式收集问题和答案,可以更快地扩展数据集并增加其多样性。

任务

阅读理解数据集

数据集大小

  1. 数据集中总共包含:
  • 536篇维基百科文章
  • 23,215个段落
  • 100,000+的问题-答案对

其中80%作为训练集,10%作为开发集,10%作为测试集。

所以数据集大小概览如下:

  • 训练集文章数:429篇
  • 训练集段落数:18,572
  • 训练集问题数:约80,000
  • 开发集文章数:53篇
  • 开发集段落数:2,321
  • 开发集问题数:约10,000
  • 测试集文章数:54篇
  • 测试集段落数:2,322
  • 测试集问题数:约10,000

下载地址

https://data.deepai.org/squad1.1.zip

https://rajpurkar.github.io/SQuAD-explorer/dataset/train-v2.0.json

XSUM

简介

XSum-WebArxiveUrls.txt: XSum 数据集由226,711 篇Wayback 存档的 BBC 文章组成,时间跨度近十年(2010 年至 2017 年),涵盖各个领域(例如新闻、政治、体育、天气、商业、技术、科学、健康、家庭、教育、娱乐和艺术)。

下载地址

https://github.com/EdinburghNLP/XSum/tree/master/XSum-Dataset

持续更新中...

相关推荐
tellmewhoisi10 分钟前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟11 分钟前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y20 分钟前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Dawson Zhu1 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源1 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔1 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE11 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷12 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能