【人工智能】Transformers之Pipeline(二十二):零样本文本分类(zero-shot-classification)

​​​​​​​

目录

一、引言

二、零样本文本分类(zero-shot-classification)

[2.1 概述](#2.1 概述)

[2.2 Facebook/bart-large-mnli](#2.2 Facebook/bart-large-mnli)

[2.3 pipeline参数](#2.3 pipeline参数)

[2.3.1 pipeline对象实例化参数](#2.3.1 pipeline对象实例化参数)

[2.3.2 pipeline对象使用参数](#2.3.2 pipeline对象使用参数)

[2.3.3 pipeline返回参数 ​​​​​​​​​​​​​​](#2.3.3 pipeline返回参数)

[2.4 pipeline实战](#2.4 pipeline实战)

[2.5 模型排名](#2.5 模型排名)

三、总结


一、引言

pipeline(管道)是huggingface transformers库中一种极简方式使用大模型推理的抽象,将所有大模型分为音频(Audio)、计算机视觉(Computer vision)、自然语言处理(NLP)、多模态(Multimodal)等4大类,28小类任务(tasks)。共计覆盖32万个模型

今天介绍NLP自然语言处理的第十篇:零样本文本分类(zero-shot-classification),在huggingface库内有313个零样本文本分类(zero-shot-classification)模型。

二、零样本文本分类(zero-shot-classification)

2.1 概述

零样本文本分类是自然语言处理中的一项任务,其中模型在一组标记的示例上进行训练,但随后能够从以前看不见的类别中对新示例进行分类。

2.2 Facebook/bart-large-mnli

BART,一种用于预训练序列到序列模型的去噪自动编码器。BART 的训练方式是 (1) 使用任意噪声函数破坏文本,以及 (2) 学习模型以重建原始文本。它使用基于标准 Tranformer 的神经机器翻译架构,尽管它很简单,但可以看作是 BERT(由于双向编码器)、GPT(使用从左到右的解码器)和许多其他较新的预训练方案的泛化。

  • GPT 是一种Auto-Regressive(自回归)的语言模型。它也可以看作是Transformer model的Decoder部分,它的优化目标就是标准的语言模型目标:序列中所有token的联合概率。GPT采用的是自然序列中的从左到右(或者从右到左)的因式分解
  • BERT 是一种Auto-Encoding(自编码)的语言模型。它也可以看作是Transformer model的Encoder部分,在输入端随机使用一种特殊的[MASK]token来替换序列中的token,这也可以看作是一种noise,所以BERT也叫Masked Language Model。
  • BART吸收了BERT的bidirectional encoder和GPT的left-to-right decoder各自的特点,建立在标准的seq2seq Transformer model的基础之上,这使得它比BERT更适合文本生成的场景;相比GPT,也多了双向上下文语境信息。

2.3 pipeline参数

2.3.1 pipeline对象实例化参数

  • modelPreTrainedModelTFPreTrainedModel)--- 管道将使用其进行预测的模型。 对于 PyTorch,这需要从PreTrainedModel继承;对于 TensorFlow,这需要从TFPreTrainedModel继承。
  • tokenizer ( PreTrainedTokenizer ) --- 管道将使用其对模型的数据进行编码的 tokenizer。此对象继承自 PreTrainedTokenizer
  • modelcardstrModelCard可选) --- 属于此管道模型的模型卡。
  • frameworkstr可选 )--- 要使用的框架,"pt"适用于 PyTorch 或"tf"TensorFlow。必须安装指定的框架。
  • taskstr,默认为"")--- 管道的任务标识符。
  • num_workersint可选 ,默认为 8)--- 当管道将使用DataLoader(传递数据集时,在 Pytorch 模型的 GPU 上)时,要使用的工作者数量。
  • batch_sizeint可选 ,默认为 1)--- 当管道将使用DataLoader (传递数据集时,在 Pytorch 模型的 GPU 上)时,要使用的批次的大小,对于推理来说,这并不总是有益的,请阅读使用管道进行批处理
  • args_parserArgumentHandler可选) - 引用负责解析提供的管道参数的对象。
  • deviceint可选 ,默认为 -1)--- CPU/GPU 支持的设备序号。将其设置为 -1 将利用 CPU,设置为正数将在关联的 CUDA 设备 ID 上运行模型。您可以传递本机torch.devicestr
  • torch_dtypestrtorch.dtype可选 ) - 直接发送model_kwargs(只是一种更简单的快捷方式)以使用此模型的可用精度(torch.float16,,torch.bfloat16...或"auto"
  • binary_outputbool可选 ,默认为False)------标志指示管道的输出是否应以序列化格式(即 pickle)或原始输出数据(例如文本)进行。

2.3.2 pipeline对象使用参数

  • sequencesstrList[str])------如果模型输入太大,则要分类的序列将被截断。
  • candidates_labelsstrList[str])--- 用于将每个序列归类的可能的类标签集。可以是单个标签、逗号分隔的标签字符串或标签列表。
  • hypothesis_template ( str可选 ,默认为"This example is {}.") --- 用于将每个标签转换为 NLI 样式假设的模板。此模板必须包含 {} 或类似语法,以便将候选标签插入到模板中。例如,默认模板是 ,"This example is {}."使用候选标签"sports",它将像 一样输入到模型中"<cls> sequence to classify <sep> This example is sports . <sep>"。默认模板在许多情况下效果很好,但根据任务设置尝试使用不同的模板可能是值得的。
  • multi_labelbool可选 ,默认为False)--- 多个候选标签是否可以为真。如果为False,则对分数进行归一化,使得每个序列的标签似然度之和为 1。如果为True,则将标签视为独立,并通过对蕴涵分数与矛盾分数进行 softmax 来对每个候选的概率进行归一化。

2.3.3 pipeline返回参数 ​​​​​​​​​​​​​​

  • sequence ( str) --- 这是输出的序列。
  • labelsList[str])------按可能性排序的标签。
  • scoresList[float])------每个标签的概率。

2.4 pipeline实战

基于pipeline的zero-shot-classification任务,采用bart-large-mnli进行零样本文本分类,代码如下:

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

from transformers import pipeline

oracle = pipeline(model="facebook/bart-large-mnli")
output=oracle(
    "I have a problem with my iphone that needs to be resolved asap!!",
    candidate_labels=["urgent", "not urgent", "phone", "tablet", "computer"],
)
print(output)
oracle(
    "I have a problem with my iphone that needs to be resolved asap!!",
    candidate_labels=["english", "german"],
)
print(output)

执行后,自动下载模型文件并进行识别:

2.5 模型排名

在huggingface上,我们将零样本分类(zero-shot-classification)模型按下载量从高到低排序,总计313个模型,文中facebook的bart排名第一。

三、总结

本文对transformers之pipeline的零样本文本分类(zero-shot-classification)从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍,读者可以基于pipeline使用文中的2行代码极简的使用NLP中的零样本文本分类(zero-shot-classification)模型。

期待您的3连+关注,如何还有时间,欢迎阅读我的其他文章:

《Transformers-Pipeline概述》

【人工智能】Transformers之Pipeline(概述):30w+大模型极简应用

《Transformers-Pipeline 第一章:音频(Audio)篇》

【人工智能】Transformers之Pipeline(一):音频分类(audio-classification)

【人工智能】Transformers之Pipeline(二):自动语音识别(automatic-speech-recognition)

【人工智能】Transformers之Pipeline(三):文本转音频(text-to-audio/text-to-speech)

【人工智能】Transformers之Pipeline(四):零样本音频分类(zero-shot-audio-classification)

《Transformers-Pipeline 第二章:计算机视觉(CV)篇》

【人工智能】Transformers之Pipeline(五):深度估计(depth-estimation)

【人工智能】Transformers之Pipeline(六):图像分类(image-classification)

【人工智能】Transformers之Pipeline(七):图像分割(image-segmentation)

【人工智能】Transformers之Pipeline(八):图生图(image-to-image)

【人工智能】Transformers之Pipeline(九):物体检测(object-detection)

【人工智能】Transformers之Pipeline(十):视频分类(video-classification)

【人工智能】Transformers之Pipeline(十一):零样本图片分类(zero-shot-image-classification)

【人工智能】Transformers之Pipeline(十二):零样本物体检测(zero-shot-object-detection)​​​​​​​

《Transformers-Pipeline 第三章:自然语言处理(NLP)篇》

【人工智能】Transformers之Pipeline(十三):填充蒙版(fill-mask)​​​​​​​

【人工智能】Transformers之Pipeline(十四):问答(question-answering)

【人工智能】Transformers之Pipeline(十五):总结(summarization)

【人工智能】Transformers之Pipeline(十六):表格问答(table-question-answering)

【人工智能】Transformers之Pipeline(十七):文本分类(text-classification)

【人工智能】Transformers之Pipeline(十八):文本生成(text-generation)​​​​​​​

【人工智能】Transformers之Pipeline(十九):文生文(text2text-generation)

【人工智能】Transformers之Pipeline(二十):令牌分类(token-classification)

【人工智能】Transformers之Pipeline(二十一):翻译(translation)

【人工智能】Transformers之Pipeline(二十二):零样本文本分类(zero-shot-classification)

《Transformers-Pipeline 第四章:多模态(Multimodal)篇》

【人工智能】Transformers之Pipeline(二十三):文档问答(document-question-answering)

【人工智能】Transformers之Pipeline(二十四):特征抽取(feature-extraction)

【人工智能】Transformers之Pipeline(二十五):图片特征抽取(image-feature-extraction)

【人工智能】Transformers之Pipeline(二十六):图片转文本(image-to-text)

【人工智能】Transformers之Pipeline(二十七):掩码生成(mask-generation)

【人工智能】Transformers之Pipeline(二十八):视觉问答(visual-question-answering)

相关推荐
Stara05117 分钟前
Git推送+拉去+uwsgi+Nginx服务器部署项目
git·python·mysql·nginx·gitee·github·uwsgi
机智的小神仙儿15 分钟前
Query Processing——搜索与推荐系统的核心基础
人工智能·推荐算法
AI_小站22 分钟前
RAG 示例:使用 langchain、Redis、llama.cpp 构建一个 kubernetes 知识库问答
人工智能·程序人生·langchain·kubernetes·llama·知识库·rag
Doker 多克24 分钟前
Spring AI 框架使用的核心概念
人工智能·spring·chatgpt
Guofu_Liao25 分钟前
Llama模型文件介绍
人工智能·llama
麦田里的稻草人w29 分钟前
【数据分析实战】(一)—— JOJO战力图
数据挖掘·数据分析
hence..38 分钟前
Vscode写markdown快速插入python代码
ide·vscode·python
天冬忘忧44 分钟前
Kafka 工作流程解析:从 Broker 工作原理、节点的服役、退役、副本的生成到数据存储与读写优化
大数据·分布式·kafka
思通数科多模态大模型1 小时前
10大核心应用场景,解锁AI检测系统的智能安全之道
人工智能·深度学习·安全·目标检测·计算机视觉·自然语言处理·数据挖掘
数据岛1 小时前
数据集论文:面向深度学习的土地利用场景分类与变化检测
人工智能·深度学习