NLP任务一些常用的数据集集锦

1. 文本分类

数据集: AG News

下载链接: AG News Dataset
格式: 每个样本包含新闻文本及其对应的类别标签。

1. AG News

背景 :

AG News是一个用于文本分类的广泛使用数据集，主要用于新闻分类任务。该数据集由四个类别组成：世界、体育、商业和科技。

内容：

类别: World, Sports, Business, Science/Technology
样本数量: 120,000条新闻。

  {
      "title": "China's economy grows at 6.9% in Q4",
      "description": "China's economy grew by 6.9% in the last quarter...",
      "label": "World"
  }

2. 命名实体识别（NER）

数据集: CoNLL 2003 NER

下载链接 : CoNLL 2003 Dataset
格式: 每个单词及其对应的实体标签，便于处理NER任务。
背景 :

CoNLL 2003是一个标准的数据集，用于命名实体识别任务，包含对新闻文章中人名、地点和组织的标注。

内容:
标签: B-PER (人名), B-LOC (地点), B-ORG (组织), O (其他)
样本数量: 包含数千个标注句子。

  EU B-ORG
  rejects O
  German B-MISC
  calls O
  for O
  more O
  action O
  .

3. 问答（QA）

数据集: SQuAD Mini

下载链接: SQuAD Dataset
说明: SQuAD Mini是一个小规模的子集，适合快速实验。
格式: 包含问题、上下文和答案。
背景 :

SQuAD是一个用于问答系统的热门数据集，包含大量的问答对，旨在促进自然语言处理中的问答研究。

内容:
问题: 针对给定上下文生成的问题。
上下文: 提供问题答案的文本片段。
答案: 在上下文中定位的答案。

  {
      "question": "What is the capital of France?",
      "context": "Paris is the capital of France.",
      "answer": "Paris"
  }

4. 文本生成

数据集: Shakespeare Dataset

下载链接 : Shakespeare Text
格式: 纯文本文件，包含莎士比亚的作品，适合文本生成任务。
背景 :

Shakespeare文本数据集包含莎士比亚的作品，常用于文本生成任务，尤其是生成与莎士比亚风格相似的文本。

内容:

纯文本格式，包含多个故事、剧本等。

  Once upon a time, there was a princess who lived in a castle. 
  She loved to explore the nearby forest.

5. 文本蕴涵（NLI）

数据集: SNLI Mini

下载链接 : SNLI Dataset
说明: SNLI有一个小型子集，适合快速测试。
格式: 包含前提、假设和对应标签。
背景 :

SNLI是一个用于文本蕴涵任务的标准数据集，旨在研究句子之间的关系，如蕴涵、对立或中立。

内容:

关系类型: Entailment, Contradiction, Neutral
样本数量: 包含超过57,000个句子对。

  {
      "premise": "A man is playing a guitar.",
      "hypothesis": "A man is making music.",
      "label": "entailment"
  }

6. 机器翻译

数据集: Multi30k

下载链接: Multi30k Dataset
格式: 图像描述的文本和翻译文本。
背景 :

Multi30k是一个用于机器翻译的多语言数据集，提供图像的描述文本，并翻译为多种语言。

内容:

图像描述和其对应的翻译文本。

  English: "A person is riding a horse."
  German: "Eine Person reitet ein Pferd."

7. 对话系统

数据集: Persona-Chat

下载链接: Persona-Chat Dataset
格式: 包含对话的逐句内容。
背景 :

Persona-Chat数据集是为了训练对话系统而设计的，包含了基于特定个性生成的对话。

内容:

每个对话由多轮交互组成，包含用户输入和系统响应。

  {
      "dialogue": [
          "Hi! How are you?",
          "I'm good, thank you! And you?"
      ],
      "persona": [
          "I love traveling.",
          "I'm a vegetarian."
      ]
  }

8. 情感分析

数据集: Sentiment140 Mini

下载链接: Sentiment140 Dataset
说明: 可以下载较小的子集用于情感分析。
格式: 包含推文ID、情感标签和文本内容。
背景 :

Sentiment140是一个用于情感分析的Twitter数据集，包含从推特中提取的文本和情感标签。

内容:

情感标签: 0 (负面), 4 (正面)
样本数量: 包含160万条推文。

  "tweet_id","sentiment","text"
  "1234567890","0","I love this product!"
  "1234567891","4","This is the worst experience ever."