AIGC前端工程师的Transformers 入门(一):pipeline

别人是面向"对象"学习,我呢?面向Boss直聘学习。无疑,今年生成式AI的火热,aigc+方向可谓首选。在刷完一堆吴恩达和他的朋友们的课后,在Boss上看到这则招聘,方向有了...

AIGC前端工程师

我是看PHP入门开发的,无聊的CRUD和命令行,让我把陈小春的《神啊救救我吧》听了一百遍。有天,亲戚小孩把奥特曼摆到了家里的神龛上,对着光之使者磕头跪拜,可爱之外让人哭笑不得,那时我正敲着js代码写一个页面特效... 后来我成了一名前端工程师,写代码的时候,眼里是经常会有光的。我觉得我在写前端的时候,并不是在写代码,而是一位导演,html是我的演员,css是化妆师, js是动作导演或特效师,将自己的创意代码展示给用户。

时光穿梭,经历了全栈、微服务、云开发等技术变革后,来到了AI的时代。作为一名前端工程师,应该怎么学习,跟Boss谈"心"呢?

在看了一些AI算法和吴恩达的课程后,我又想起了那尊被小孩摆在神龛上的奥特曼。我的AI学习是要有光的,AIGC前端方面的东西才是我想要搞明白的。在经过一些摸索后,发现Hugging Face的transformers可以让前端更快速找到AI任务快感,LangChain可以方便做出AI应用,Flowise这种AI低代码实现让枯燥的AI流程一看便知,于是,为了明年在AIGC前端方向上好跟Boss谈,我计划写些文章,记录自己学习的过程。应该有挺多前端朋友,也跟我一样吧,那就来帮我指出一些问题吧....

何为Hugging Face?

Hugging Face 仿佛就是那一道从奥特曼手里射出的光,让我从NLP的理论学习痛苦中抽离出来,快速消灭了一些NLP"怪兽"。

Hugging Face 是目前最火的NPL开源社区,里面有着丰富的开源大模型和数据集,简化了开发流程,提供了类似github page一样的在线项目托管工具,非常适合前端AIGC新人来玩,发布项目。

核心产品Transformers库

Hugging Face的核心产品是Transformers库,它提供了一系列预训练模型和API,用于解决各种NLP任务,如文本分类、命名实体识别、机器翻译等。Transformers库还提供了一系列工具和API,用于简化模型训练和部署的流程。

基于我的渣渣电脑,建议就直接上手 Google Colab 来个transformers初体验。

pipeline 一个情感分析任务

常见的NLP任务有文本分类(Text Classification)、命名实体识别(Named Entity Recognition)、机器翻译(Machine Translation)、问答系统(Question Answering)、序列标注(Sequence Labeling)、文本生成(Text Generation)等,接下来的代码就是文本分类里的情感分析任务,在transfomers里,我们用pipeline来安排一个NPL任务。

python 复制代码
!pip install transformers   # 安装huggingface开源的 transformers库
from transformers import pipeline # pipeline是 transfromers的模块,专业安排各种NLP。 

classifier = pipeline('sentiment-analysis') #安排了情感分析任务
result = classifier('I love you')[0] #返回情感分析结果 
print(f"label: {result['label']}, with score: {round(result['score'], 4)}")

输出结果为: label: POSITIVE, with score: 0.9999 0.9999的积极, 当然,写代码的尽头是为了爱....

自此,我们就利用Hugging Face 的 transformers库完成了第一个情感分析任务,我这位前端小学生又要跟着奥特曼飞向AIGC的星系了。

pipeline 一个机器翻译的例子

python 复制代码
from transformers import pipeline

translator = pipeline("translation_en_to_fr")
result = translator("Hugging Face is a technology company based in New York and Paris", max_length=40)
print(result[0]['translation_text'])

输出结果为: Hugging Face est une entreprise technologique basée à New York et à Paris.

pipeline 一个问答系统的例子

python 复制代码
from transformers import pipeline

question_answerer = pipeline("question-answering")
context = r"""
Machine learning (ML) is the study of computer algorithms that improve automatically through experience. 
It is seen as a subset of artificial intelligence. Machine learning algorithms build a model based on 
sample data, known as "training data", in order to make predictions or decisions without being explicitly 
programmed to do so. Machine learning algorithms are used in a variety of applications, such as email 
filtering and computer vision, where it is difficult or infeasible to develop a conventional algorithm 
for effectively performing the task.
"""
result = question_answerer(question="What is machine learning?", context=context)
print(f"Answer: {result['answer']}")

输出结果为: the study of computer algorithms that improve automatically through experience

总结

以上我们介绍了Hugging Face 的 transformers库,轻松上手了一些常见NLP任务。大家可以到Pipelines (huggingface.co)看更多NLP任务, 亲手把玩。

思考题

请把上面代码里的 "I love you" 改成 "遥遥领先",看看结果, 有什么问题? 期待评论区有你的代码实现。 下一集 transformers model 来解决这个问题。

相关推荐
网络研究院7 小时前
Cloudflare 推出 Precursor 行为监测系统,全会话追踪技术引爆 AI 机器人防御战与隐私新争议
网络·人工智能·机器人·系统·cloudflare·反爬虫
老白说数智化升级7 小时前
从一次改善到持续进化,AI如何沉淀制造现场的运营知识?
大数据·人工智能·制造
Python私教7 小时前
Django 接入 AI 大模型实战:从零做一个流式聊天网站
人工智能·python·django
Python私教7 小时前
Django 接入 MCP 实战:让 AI 安全调用数据库和业务接口
人工智能·python·django
Python私教7 小时前
Django 搭建 AI 本地知识库:文档上传、向量检索与智能问答
人工智能·python·django
会周易的程序员7 小时前
业力、死亡与共业:多智能体AI的终极形态不会是乌托邦
人工智能
犀利豆7 小时前
Claude Code Tools 研究系列(三)ExitPlanMode
人工智能·后端
醉城夜风~7 小时前
CSS元素显示模式(display)
前端·css
星栈7 小时前
oh-my-pi工程级AI编码工使用体验
人工智能·后端·agent
建筑工程企业管理系统7 小时前
erp工程项目管理系统落地价值:实现工程多项目成本精细化核算与管控
大数据·数据库·人工智能