论文解读之GPT1:Improving Language Understanding by Generative Pre-Training

近期会整理经典的大模型架构和其具体训练、数据过程,从GPT1开始

一、介绍

GPT系列的特点是自监督大规模训练后在具体任务上进行有监督微调,事实证明这种方式可以有效利用大规模的无标签语料以提升模型对于自然语言的理解力,即使其调整参数以记忆足够多知识的模型

结构类似于llama,为多层的decoder-only:

二、训练

2.1 无监督预训练

即,最大化根据之前位置正确的token生成当前位置正确token的对数概率

以下的公式清晰展示了输入在这个模型中的处理流程以及概率输出:

文本被token化后,进过输入的token embedding 矩阵映射后,加上位置编码,接着经过n层decoder块的处理后,softmax转化为词表大小的概率输出

2.2 有监督微调

对于有标签训练,加了一个输出的映射层,这个层负责从transformer的docoder块输出的向量中映射到标签的空间,有监督的损失与无监督类似:

在有监督训练阶段,加入了一定权重的无监督损失函数,有利于:

(1)改善有监督模型的泛化性(2)加速收敛

在此阶段,额外的参数为映射到标签的矩阵,和以及额外的分隔符embedding:

2.3 特定任务输入转换

对于分类、情感分析、相似度、多选等问题,对于训练数据输入前有一定的处理

比如在输入的不同文本段间中加分隔符,如上图

三、数据

预训练:含超过7000本书的:BooksCorpus dataset、1B Word Benchmark

四、实验

4.1 模型结构

12层的decoder-only, layer normalization, gelu激活函数, adam优化器,采用字节对编码词表的token化

4.2 细节

预训练100epoch;微调 3epoch

五、结论

GPT1 主要是探索了decoder-only模型以及其先预训练+有监督微调的范式的效果,有一定的开创性意义

相关推荐
猫头虎6 分钟前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊14 分钟前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪
CareyWYR24 分钟前
大模型真的能做推荐系统吗?ARAG论文给了我一个颠覆性的答案
人工智能
特立独行的猫a33 分钟前
百度AI文心大模型4.5系列开源模型评测,从安装部署到应用体验
人工智能·百度·开源·文心一言·文心一言4.5
SKYDROID云卓小助手1 小时前
无人设备遥控器之自动调整编码技术篇
人工智能·嵌入式硬件·算法·自动化·信号处理
小陈phd1 小时前
李宏毅机器学习笔记——梯度下降法
人工智能·python·机器学习
CareyWYR1 小时前
每周AI论文速递(250630-250704)
人工智能
Ai墨芯1111 小时前
靠机器学习+组合优化就发了CCF-A
人工智能
Morpheon1 小时前
揭开预训练Pre-Training的力量:革新机器学习
人工智能·机器学习