昇思MindSpore第四课---GPT实现情感分类

1. GPT的概念

GPT 系列是 OpenAI 的一系列预训练模型,GPT 的全称是 Generative Pre-Trained Transformer,顾名思义,GPT 的目标是通过Transformer,使用预训练技术得到通用的语言模型。和BERT类似,GPT-1同样采取pre-train +fine-tune的思路:先基于大量未标注语料数据进行预训练,后基于少量标注数据进行微调。

2 实践

2.1 配置环境

安装`mindnlp 套件

2.2 任务训练

OpenAIGPTForSequenceClassification的一些权重没有从openai-gpt的模型检查点初始化,而是重新初始化。

2.3 训练完成

3. 感悟

GPT也是输入句子或者句子对的,并且GPT添加了special tokens。GPT是由Decoder Layer堆叠,Decoder Layer的组成与Transformer Decoder Layer是相似的,不过是没有计算Encode输出与Decoder输入之间的注意力分数multi-head attention的。

相对于BERT,GPT更加注重语句的生成,也就是根据签名的内容预测下一个词是什么。也就是说,GPT更适合生成式的下游任务。

经过这一节课,对于Transformer、BERT以及GPT的理解更加的深刻,对于生成式的大模型有了一个比较直观的认识,对于大模型是如何理解人类语言的方法有了一个初步的认识。而且对模型的微调等概念与方法也有了一个直观地认识。

相关推荐
周杰伦_Jay1 小时前
【图文详解】强化学习核心框架、数学基础、分类、应用场景
人工智能·科技·算法·机器学习·计算机视觉·分类·数据挖掘
维维180-3121-14555 小时前
NCL数据分析与处理实践技术应用
数据挖掘·数据分析·ncl
里予.c5 小时前
ARM—时钟(CLOCK)—定时器(EPIT / GPT)
arm开发·gpt
Wah-Aug6 小时前
深度学习视角下的图像分类
人工智能·深度学习·分类
xwz小王子6 小时前
OpenAI 回归机器人:想把大模型推向物理世界
数据挖掘·回归·机器人
毕设源码-钟学长9 小时前
【开题答辩全过程】以 bilibili排行榜的数据分析与可视化为例,包含答辩的问题和答案
数据挖掘·数据分析
Mr.Lee jack9 小时前
国内如何使用GPT-5-Codex
gpt·gpt-5·gpt-5-codex
winkel_wang9 小时前
一个硬盘选MBR 还是GPT
windows·gpt·mbr
胡斌附体11 小时前
docker离线部署gpt-oss-20b流程,从下载到安装再到可以使用
gpt·docker·容器·大模型·部署·记录·离线
cellurw13 小时前
Day51 时钟系统与定时器(EPIT/GPT)
单片机·嵌入式硬件·gpt