🤗 1. 介绍
Transformers提供了很多在
文本、视觉和音频上的数以千计的训练模型。Transformers由三个流行的深度学习库(Jax, PyTorch, TensorFlow)提供支持的预训练先进模型库了,用于自然语言处理(文本),计算机视觉(图像)、音频和语音处理。
文本类
文本分类、信息提取、你问我答、摘要、翻译和文本生成等等,支持多种语言。
图像
图像分类、对象检测和分割等等。
音频
语音识别、音频分类等等。
结合模型
表格问答、光学字符识别、扫描文档提取信息、视频分类、视觉回答。
🤗 2. 安装
查看python版本
python -V
使用安装两个Python库,分别是
transformers和datasets
!pip install transformers datasets // !感叹符号表示在某些继承开发环境中 运行命令。也可以去掉。

transformers是一个用于自然语言处理(NLP)任务,如文本分类、命名实体识别,机器翻译等,提供了预训练的语言模型(如BERT、GPT)同时用于模型训练、评估和推理的工具和API的Python库。
datasets是一个用来访问和处理各种NLP(Natural Language Processing)数据集的Python库,它提供了一个统一的接口,可以轻松地下载、加载,以及预处理各种常见的NLP数据集。
安装深度学习库 Pytorch 和 TensorFlow
pip install torch
pip install tensorflow
torch是一个广泛使用的深度学习框架,提供了用于构建和训练各种神经网络模型的工具和API,主要特点是动态计算图和易于使用的API。非常强大的学习框架工具。
tensorflow也是一个深度学习框架,由google开发的。用来构建和训练各种机器学习和深度学习的模型。
安装完成后,使用
pip list查看开发环境第三方库上是否已经存在以上提到的几个库。
🤗 3. 使用
pipeline 管道
pipeline()的作用就是,跨不同模式使用。
| 类型 | 任务 | 描述 | 标识符 |
|---|---|---|---|
NLP(语言文本类) |
情绪分析 | 分析一段文本是正能量和负能量 | pipeline(task="sentiment-analysis") |
NLP(语言文本类) |
生成文本 | 根据一段提示生成文本 | pipeline(task="text-generation") |
NLP(语言文本类) |
生成摘要 | 生成文档或文本的摘要 | pipeline(task="ummarization") |
视觉图像类 |
图像分类 | 给出一张图罗列出图片中物品 | pipeline(task="image-segmentation") |
视觉图像类 |
对象检测 | 预测照片中对象的位置和类目 | pipeline(task="object-detection") |
视觉图像类 |
图片转标题 | 为给定图像生成标题 | pipeline(task="image-to-text") |
音频类 |
音频分类 | 给音频场景分类 | pipeline(task="audio-classification") |
音频分类 |
音频转字幕 | 音频素材转字幕 | pipeline(task="automatic-speech-recognition") |
终端测试
情绪分析
打开Terminal终端:
输入python,进入python环境,
然后创建一个pipeline()实例:
python
>>> from transformers import pipeline
>>> classifier = pipeline("sentiment-analysis")

接着输入我们想要分析的文本即可:
单文本

多文本
传数组,然后遍历输出结果

目标检测
大家可以自行去模型中心去看看去测试一番,接下来介绍的是DETR进行目标检测。在这个模型当中,我们可以得到照片图像中检测到的对象预测列表,里面包含着物品名称和位置以及可信度。
html

css

js


效果


🤗 4. 写在末尾
Hugging Face 上的Transformers有很多实现,这里就不一一举例了,其中包括一些pipeline工具的任务处理,以及构建trainer微调预训练模型,感兴趣的小伙伴可以自行去官网查看一些案例。AI在我们生活方方面面都有非常多的应用,人工智能正在也一直会深度参与世界的发展跟走向...
☎️ 希望对大家有所帮助,如有错误,望不吝赐教,欢迎评论区留言互相学习。感谢阅读!