GPT系列 论文阅读笔记

文章目录

GPT-1

  • GPT-1的核心:基于Transformer的解码器构建一个模型,在大量无标号的文本数据上训练一个模型,然后再在下游的子任务上进行微调。
  • 当前面临的问题:在NLP领域,有各种各样的下游任务。目前,自然语言处理中有标号的数据是非常少的,大部分的数据都是无标注的数据。因此,这就使得基于有标号的数据训练一个非常强大的NLP模型是非常困难的。另外,由于一个句子蕴含的信息内容大致只有一张图片的十分之一,因此如果需要构造一个规模很大的带标号的NLP领域数据集,需要比图像数据集规模更大。目前,在词嵌入模型之后,并没有基于无标文本号数据进行训练的很优秀的自然语言处理模型。
  • 第一作者:Radford。其著名的工作还包括生成对抗网络领域的DCGAN以及强化学习领域的PPO算法。
  • 模型架构:12层的Transformer解码器块,隐藏层维度是768。
  • 预训练过程:基于语言模型目标函数,在大量没有标号的数据集上训练。
  • 微调过程:同时使用了两个目标函数。第一个目标函数是根据文本序列进行标号,第二个目标函数则是语言模型的目标函数。
  • GPT和BERT的效果比较:BERT模型在训练阶段的目标函数是完形填空,相较于语言模型目标函数来说更加简单,因此在数据量较小的情况下更容易取得好的效果;GPT模型所基于的语言模型目标函数更加困难,因此在较小规模数据训练的情况下效果不如BERT,但是其上限会比BERT更高。

GPT-2

  • GPT-2概述:创建了一个更大的数据集,并且将模型的参数量变为了15亿,从而提升了GPT-1的效果。该模型主打的是将GPT-2应用于下游任务中时可以做到Zero-shot。
  • 第一作者:仍然是Radford。
  • 数据集来源:通过reddit搜集数据集,搜集到了有史以来最大的数据集。

GPT-3

  • GPT-3概述:GPT-3是一个含有1750亿参数的模型。GPT-3不用也不能进行微调,因为这么大的模型即使是微调也是非常困难的。相反,它提出通过Few-shot的方法将GPT-3直接应用于下游的NLP任务中。
  • GPT-3的不同规模:GPT-3模型有多个不同大小的版本,最小的仅包含1亿多的参数,最大的模型有1750亿的参数。
  • 实验结果:在所有NLP任务上取得了很好的成绩。
相关推荐
时间之城11 分钟前
笔记:记一次使用EasyExcel重写convertToExcelData方法无法读取@ExcelDictFormat注解的问题(已解决)
java·spring boot·笔记·spring·excel
灏瀚星空20 分钟前
用Obsidian四个插件打造小说故事关联管理系统:从模板到图谱的全流程实践
经验分享·笔记·开源
一只可爱的小猴子35 分钟前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
孞㐑¥1 小时前
C++11介绍
开发语言·c++·经验分享·笔记
使一颗心免于哀伤1 小时前
《重构》笔记摘录 - 9.处理继承关系
笔记
再睡一夏就好1 小时前
Linux常见工具如yum、vim、gcc、gdb的基本使用,以及编译过程和动静态链接的区别
linux·服务器·c语言·c++·笔记
俺的图图呢?2 小时前
Django笔记——CSRF
笔记·django·csrf
我的golang之路果然有问题2 小时前
快速了解redis,个人笔记
数据库·经验分享·redis·笔记·学习·缓存·内存
无心水2 小时前
【Java面试笔记:基础】8.对比Vector、ArrayList、LinkedList有何区别?
java·笔记·面试·vector·arraylist·linkedlist
卡皮巴拉爱吃小蛋糕2 小时前
MySQL的MVCC【学习笔记】
数据库·笔记·mysql