论文解读之GPT1:Improving Language Understanding by Generative Pre-Training

近期会整理经典的大模型架构和其具体训练、数据过程,从GPT1开始

一、介绍

GPT系列的特点是自监督大规模训练后在具体任务上进行有监督微调,事实证明这种方式可以有效利用大规模的无标签语料以提升模型对于自然语言的理解力,即使其调整参数以记忆足够多知识的模型

结构类似于llama,为多层的decoder-only:

二、训练

2.1 无监督预训练

即,最大化根据之前位置正确的token生成当前位置正确token的对数概率

以下的公式清晰展示了输入在这个模型中的处理流程以及概率输出:

文本被token化后,进过输入的token embedding 矩阵映射后,加上位置编码,接着经过n层decoder块的处理后,softmax转化为词表大小的概率输出

2.2 有监督微调

对于有标签训练,加了一个输出的映射层,这个层负责从transformer的docoder块输出的向量中映射到标签的空间,有监督的损失与无监督类似:

在有监督训练阶段,加入了一定权重的无监督损失函数,有利于:

(1)改善有监督模型的泛化性(2)加速收敛

在此阶段,额外的参数为映射到标签的矩阵,和以及额外的分隔符embedding:

2.3 特定任务输入转换

对于分类、情感分析、相似度、多选等问题,对于训练数据输入前有一定的处理

比如在输入的不同文本段间中加分隔符,如上图

三、数据

预训练:含超过7000本书的:BooksCorpus dataset、1B Word Benchmark

四、实验

4.1 模型结构

12层的decoder-only, layer normalization, gelu激活函数, adam优化器,采用字节对编码词表的token化

4.2 细节

预训练100epoch;微调 3epoch

五、结论

GPT1 主要是探索了decoder-only模型以及其先预训练+有监督微调的范式的效果,有一定的开创性意义

相关推荐
在所不辞兄4 分钟前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下44 分钟前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码1 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下2 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩2 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY2 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm
Flynn Liang2 小时前
大模型成本优化:基于 Redis 的可验证语义缓存架构
人工智能·redis·缓存·架构·ai agent·智能体
锋行天下2 小时前
langgraph全栈项目(一)
前端·人工智能·后端
程序员cxuan3 小时前
不得了,Google 造反了,Opus 5.5 又被干了
人工智能·后端·程序员
数字新视界3 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房