AI开发-三方库-Hugging Face-Pipelines

1 需求

需求1:pipeline支持的任务类型

需求2:推理加速使用CPU还是GPU

需求3:基于pipeline的文本分类示例

需求4:pipeline实现原理



模型使用步骤(Raw text -》Input IDs -》Logits -》Predictions):

  • 第一步:数据预处理(Raw text -》Input IDs)
  • 第二步:模型调用(Input IDs -》Logits)
  • 第三步:结果后处理(Logits -》Predictions)

以下是对这个流程的解释:

一、Raw text -> Input IDs

  1. 原始文本处理

    • "Raw text" 即原始文本,可能是一段自然语言的语句、文章段落等。
    • 在自然语言处理任务中,首先需要将原始文本进行预处理,以便模型能够理解和处理。
  2. 分词与编码

    • 通常使用分词器(tokenizer)将原始文本分割成一个个的词或子词单元。例如,对于英文文本,可能会将单词拆分成词根、词缀等更小的单元;对于中文文本,可能会按照字、词等进行分割。
    • 然后,分词器会为每个分割后的单元分配一个唯一的整数标识符,即 "Input IDs"。这些整数标识符可以被模型识别和处理。
    • 例如,使用 Hugging Face 的 Transformers 库中的分词器,可以这样将原始文本转换为输入 ID 序列:

    text = "今天天气不错"

    第一步:数据预处理(Raw text -》Input IDs)

    from transformers import BertTokenizer

    tokenizer = BertTokenizer.from_pretrained('./model')
    inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True)
    print(inputs)

二、Input IDs -> Logits

  1. 模型处理输入

    • "Input IDs" 被输入到深度学习模型中,例如 Transformer 架构的语言模型。
    • 模型会对输入的 ID 序列进行一系列的计算和处理,包括嵌入(embedding)、多头注意力(multi-head attention)、前馈神经网络(feed-forward neural network)等操作。
  2. 生成对数概率

    • 经过模型的计算,最终会输出一个向量,称为 "Logits"。Logits 是模型对每个可能的输出类别的对数概率。
    • 例如,在文本分类任务中,如果有两个类别(正面和负面),那么 Logits 可能是一个长度为 2 的向量,分别表示输入文本属于正面类别和负面类别的对数概率。
    • 以下是一个简单的示例,使用预训练的模型生成 Logits:

    第二步:模型调用(Input IDs -》Logits)

    from transformers import BertForSequenceClassification

    model = BertForSequenceClassification.from_pretrained('./model')

    print(model.config)

    outputs = model(**inputs)
    logits = outputs.logits
    print(logits)

三、Logits -> Predictions

  1. 概率计算与预测

    • "Logits" 通常是未经过处理的对数概率,需要进一步转换为概率值。可以使用 softmax 函数将 Logits 转换为概率分布。
    • Softmax 函数会将每个对数概率转换为一个介于 0 和 1 之间的概率值,并且所有概率值之和为 1。
    • 然后,根据概率分布,可以选择概率最高的类别作为模型的预测结果。
    • 例如:

    第三步:结果后处理(Logits -》Predictions)

    import torch

    predictions = torch.nn.functional.softmax(logits, dim=-1)
    predictions_class = torch.argmax(predictions).item()
    print(predictions_class)
    print(model.config.id2label.get(predictions_class))

这个流程是自然语言处理中常见的文本分类任务的基本步骤,不同的任务和模型可能会有所不同,但总体上都遵循这个从原始文本到最终预测的过程。


2 接口

关键参数

  • task:指定任务类型
  • model:指定模型
  • tokenizer:指定分词器
  • device:指定使用GPU进行推理加速

常见调用方式

  • pipeline(task="text-classification")
  • pipeline(task="text-classification", model="./model")
  • pipeline(task="text-classification", model="./model", tokenizer="./model")
  • pipeline(task="text-classification", model="./model", tokenizer="./model", device=-1)

3.1 支持任务类型

复制代码
from transformers.pipelines import SUPPORTED_TASKS

for k, v in SUPPORTED_TASKS.items():
    print(k)

3.2 推理加速使用CPU还是GPU

复制代码
from transformers import pipeline

pipe = pipeline(task="text-classification", model="./model", tokenizer="./model")

print(pipe.model.device)

3.3 基于pipeline的文本分类示例

复制代码
from transformers import pipeline

pipe = pipeline(task="text-classification", model="./model", tokenizer="./model", device=-1)
result = pipe("今天天气不错")
print(result)

3.4 pipeline实现原理

复制代码
text = "今天天气不错"

# 第一步:数据预处理(Raw text -》Input IDs)
from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('./model')
inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True)
print(inputs)

# 第二步:模型调用(Input IDs -》Logits)
from transformers import BertForSequenceClassification

model = BertForSequenceClassification.from_pretrained('./model')
# print(model.config)
outputs = model(**inputs)
logits = outputs.logits
print(logits)

# 第三步:结果后处理(Logits -》Predictions)
import torch

predictions = torch.nn.functional.softmax(logits, dim=-1)
predictions_class = torch.argmax(predictions).item()
print(predictions_class)
print(model.config.id2label.get(predictions_class))

4 参考资料

https://huggingface.co/docs/transformers/main_classes/pipelines

https://hf-mirror.com/docs/transformers/main_classes/pipelines

https://blog.csdn.net/weixin_48007632/category_12725843.html

相关推荐
还有糕手25 分钟前
西南交通大学【机器学习实验2】
人工智能·机器学习
jndingxin27 分钟前
OpenCV CUDA模块设备层-----在 GPU 上执行类似于 std::copy 的操作函数warpCopy()
人工智能·opencv·计算机视觉
weixin_3776348428 分钟前
【数据增强】精细化贴图数据增强
人工智能·目标检测·贴图
老A技术联盟33 分钟前
超实用的Cursor使用技巧之案列分析-教你基于Cursor零代码开发一个chrome插件
人工智能·cursor
慧星云37 分钟前
ComfyUI工作流 :一键换背景体验不同场景
人工智能
程序员的小马甲39 分钟前
如何编写AI提示词
人工智能·程序员·产品经理
算家计算39 分钟前
4 位量化 + FP8 混合精度:ERNIE-4.5-0.3B-Paddle本地部署,重新定义端侧推理效率
人工智能·开源
晓131342 分钟前
OpenCV篇——项目(二)OCR文档扫描
人工智能·python·opencv·pycharm·ocr
小白狮ww1 小时前
VASP 教程:VASP 机器学习力场微调
人工智能·深度学习·机器学习
AIGC包拥它1 小时前
提示技术系列——链式提示
人工智能·python·langchain·prompt