🤗 免费AI模型之旅——Transformers篇

🤗 1. 介绍

Transformers提供了很多在文本视觉音频上的数以千计的训练模型。Transformers由三个流行的深度学习库(Jax, PyTorch, TensorFlow)提供支持的预训练先进模型库了,用于自然语言处理(文本)计算机视觉(图像)、音频和语音处理。

文本类

文本分类信息提取你问我答摘要翻译文本生成等等,支持多种语言。

图像

图像分类对象检测和分割等等。

音频

语音识别音频分类等等。

结合模型

表格问答光学字符识别扫描文档提取信息视频分类视觉回答

🤗 2. 安装

查看python版本

python -V

使用安装两个Python库,分别是transformersdatasets

!pip install transformers datasets // !感叹符号表示在某些继承开发环境中 运行命令。也可以去掉。

transformers是一个用于自然语言处理(NLP)任务,如文本分类命名实体识别机器翻译等,提供了预训练的语言模型(如BERT、GPT)同时用于模型训练、评估和推理的工具和API的Python库。

datasets是一个用来访问和处理各种NLP(Natural Language Processing)数据集的Python库,它提供了一个统一的接口,可以轻松地下载、加载,以及预处理各种常见的NLP数据集。

安装深度学习库 Pytorch 和 TensorFlow

复制代码
pip install torch

pip install tensorflow

torch是一个广泛使用的深度学习框架,提供了用于构建和训练各种神经网络模型的工具和API,主要特点是动态计算图和易于使用的API。非常强大的学习框架工具。

tensorflow也是一个深度学习框架,由google开发的。用来构建和训练各种机器学习和深度学习的模型。

安装完成后,使用pip list查看开发环境第三方库上是否已经存在以上提到的几个库。

🤗 3. 使用

pipeline 管道

pipeline()的作用就是,跨不同模式使用。

类型 任务 描述 标识符
NLP(语言文本类) 情绪分析 分析一段文本是正能量和负能量 pipeline(task="sentiment-analysis")
NLP(语言文本类) 生成文本 根据一段提示生成文本 pipeline(task="text-generation")
NLP(语言文本类) 生成摘要 生成文档或文本的摘要 pipeline(task="ummarization")
视觉图像类 图像分类 给出一张图罗列出图片中物品 pipeline(task="image-segmentation")
视觉图像类 对象检测 预测照片中对象的位置和类目 pipeline(task="object-detection")
视觉图像类 图片转标题 为给定图像生成标题 pipeline(task="image-to-text")
音频类 音频分类 给音频场景分类 pipeline(task="audio-classification")
音频分类 音频转字幕 音频素材转字幕 pipeline(task="automatic-speech-recognition")

终端测试

情绪分析

打开Terminal终端:

输入python,进入python环境,

然后创建一个pipeline()实例:

python 复制代码
>>> from transformers import pipeline

>>> classifier = pipeline("sentiment-analysis")

接着输入我们想要分析的文本即可:

单文本

多文本

传数组,然后遍历输出结果

目标检测

大家可以自行去模型中心去看看去测试一番,接下来介绍的是DETR进行目标检测。在这个模型当中,我们可以得到照片图像中检测到的对象预测列表,里面包含着物品名称和位置以及可信度。

html

css

js

效果

🤗 4. 写在末尾

Hugging Face 上的Transformers有很多实现,这里就不一一举例了,其中包括一些pipeline工具的任务处理,以及构建trainer微调预训练模型,感兴趣的小伙伴可以自行去官网查看一些案例。AI在我们生活方方面面都有非常多的应用,人工智能正在也一直会深度参与世界的发展跟走向...

☎️ 希望对大家有所帮助,如有错误,望不吝赐教,欢迎评论区留言互相学习。感谢阅读!

相关推荐
lll上1 分钟前
三步对接gpt-5-pro!地表强AI模型实测
人工智能·gpt
喜欢吃豆6 分钟前
一份关于语言模型对齐的技术论述:从基于PPO的RLHF到直接偏好优化
人工智能·语言模型·自然语言处理·大模型·强化学习
超龄超能程序猿31 分钟前
Spring AI Alibaba 与 Ollama对话历史的持久化
java·人工智能·spring
孤狼灬笑1 小时前
机器学习四范式(有监督、无监督、强化学习、半监督学习)
人工智能·强化学习·无监督学习·半监督学习·有监督学习
第七序章1 小时前
【C++】AVL树的平衡机制与实现详解(附思维导图)
c语言·c++·人工智能·机器学习
晨非辰1 小时前
【面试高频数据结构(四)】--《从单链到双链的进阶,读懂“双向奔赴”的算法之美与效率权衡》
java·数据结构·c++·人工智能·算法·机器学习·面试
阿里云大数据AI技术1 小时前
云栖实录 | 通义实验室基于MaxCompute进行大模型数据管理及处理
大数据·人工智能
玉树临风江流儿1 小时前
关于pkg-config的使用示例--g++编译过程引入第三方库(如Opencv、Qt)
人工智能·opencv
struggle20251 小时前
AxonHub 开源程序是一个现代 AI 网关系统,提供统一的 OpenAI、Anthropic 和 AI SDK 兼容 API
css·人工智能·typescript·go·shell·powershell
后端小肥肠1 小时前
公众号对标账号文章总错过?用 WeWe-RSS+ n8n,对标文章定时到你的邮箱(下篇教程)
人工智能·agent