昇思MindSpore第四课---GPT实现情感分类

1. GPT的概念

GPT 系列是 OpenAI 的一系列预训练模型,GPT 的全称是 Generative Pre-Trained Transformer,顾名思义,GPT 的目标是通过Transformer,使用预训练技术得到通用的语言模型。和BERT类似,GPT-1同样采取pre-train +fine-tune的思路:先基于大量未标注语料数据进行预训练,后基于少量标注数据进行微调。

2 实践

2.1 配置环境

安装`mindnlp 套件

2.2 任务训练

OpenAIGPTForSequenceClassification的一些权重没有从openai-gpt的模型检查点初始化,而是重新初始化。

2.3 训练完成

3. 感悟

GPT也是输入句子或者句子对的,并且GPT添加了special tokens。GPT是由Decoder Layer堆叠,Decoder Layer的组成与Transformer Decoder Layer是相似的,不过是没有计算Encode输出与Decoder输入之间的注意力分数multi-head attention的。

相对于BERT,GPT更加注重语句的生成,也就是根据签名的内容预测下一个词是什么。也就是说,GPT更适合生成式的下游任务。

经过这一节课,对于Transformer、BERT以及GPT的理解更加的深刻,对于生成式的大模型有了一个比较直观的认识,对于大模型是如何理解人类语言的方法有了一个初步的认识。而且对模型的微调等概念与方法也有了一个直观地认识。

相关推荐
CC数分19 小时前
组长跟我说,她招人看重的是数据分析能力
学习·数据挖掘·数据分析·大学生·考证
zzywxc7871 天前
AI行业应用:金融、医疗、教育、制造业的落地案例全解析
人工智能·深度学习·spring·机器学习·金融·数据挖掘
盼小辉丶1 天前
Transformer实战(16)——微调Transformer语言模型用于多类别文本分类
深度学习·自然语言处理·分类·transformer
云天徽上1 天前
【数据可视化-108】2025年6月新能源汽车零售销量TOP10车企分析大屏(PyEcharts炫酷黑色主题可视化)
python·信息可视化·数据挖掘·数据分析·汽车·数据可视化·零售
用户Taobaoapi20141 天前
京东商品详情API的技术文档框架及Python实现方案
大数据·数据挖掘·数据分析
华科云商xiao徐1 天前
Python爬虫数据清洗实战:从杂乱无章到整洁可用
爬虫·数据挖掘·数据分析
nenchoumi31191 天前
Nvidia Orin DK 本地 ollama 主流 20GB 级模型 gpt-oss, gemma3, qwen3 部署与测试
gpt·机器人·jetson·orin
xieyan08111 天前
基金交易量预测比赛_数据分析
数据挖掘·数据分析
幂简集成1 天前
GPT-Realtime 弹幕TTS API 低延迟集成教程
人工智能·gpt·gpt-3
过往入尘土1 天前
从 0 到 1 实现 PyTorch 食物图像分类:核心知识点与完整实
人工智能·pytorch·分类