学习记录--GPT

目录

总体结构

1:输入层

2:transformer对叠层

3:输出层

1:预训练阶段

2:下游任务精调阶段(微调)


总体结构

1:输入层

Tokenization:文本输入首先经过分词处理,将文本转换为Token序列。这通常涉及将文本分割成单词、子词或其他基本单位。

Embedding:分词后的Token序列通过Embedding层转换为固定维度的向量表示。Embedding层将每个Token映射到一个高维空间中,捕捉其语义信息。

2:transformer对叠层

GPT的核心是多个Transformer解码器的堆叠。每个解码器都包含以下几个关键组件:

自注意力机制:自注意力机制允许模型在处理序列时关注不同位置的Token。通过计算Token之间的注意力权重,模型能够捕捉输入序列中的依赖关系,并为每个位置生成上下文相关的表示。

前馈神经网络:除了自注意力机制外,每个解码器还包含一个前馈神经网络。该网络对自注意力机制的输出进行进一步转换,以提取更高级别的特征。

残差连接和层归一化:为了提高模型的训练稳定性和效果,每个解码器都使用了残差连接和层归一化。这些技术有助于缓解梯度消失和梯度爆炸问题,并加速模型的收敛。

3:输出层

经过多个Transformer解码器堆叠处理后,最后一层的输出被用作生成文本的依据。对于每个位置,模型预测下一个Token的概率分布。这通常通过一个线性层和一个Softmax激活函数来实现,将解码器的输出转换为概率值。

中间核心就是12个Decoder(准确来说不是,只是类似而已,用Encoder也是可以实现的)


1:预训练阶段

在预训练阶段,模型使用大规模的无标注文本数据进行训练,以学习语言的统计规律和生成能力。通过自回归的方式,模型预测输入序列中的下一个Token,并最大化在训练数据上的似然性。7-2,7-3,7-4三个式子对应之前的GPT结构图,输出P(x)为输出,每个词被预测到的概率,再利用7-1式,计算最大似然函数,据此构造损失函数,即可以对该语言模型进行优化。

2:下游任务精调阶段(微调)

模型使用特定任务的标注数据进行训练,以适应各种NLP任务。通过在模型的顶部添加适当的输出层,并使用任务特定的目标函数进行训练,模型能够学习将输入文本映射到特定任务的输出空间



参考:

GPT模型总结【模型结构及计算过程_详细说明】_gpt结构-CSDN博客

神经网络算法:一文搞懂GPT(Generative Pre-trained Transformer)-CSDN博客

相关推荐
后端小肥肠9 小时前
别再眼馋 10w + 治愈漫画!Coze 工作流 3 分钟出成品,小白可学
人工智能·aigc·coze
墨风如雪9 小时前
GPT-5-Codex:AI编程,告别F5的七小时史诗?
aigc
唐某人丶11 小时前
教你如何用 JS 实现 Agent 系统(2)—— 开发 ReAct 版本的“深度搜索”
前端·人工智能·aigc
袁庭新12 小时前
全球首位AI机器人部长,背负反腐重任
人工智能·aigc
算家计算13 小时前
AI配音革命!B站最新开源IndexTTS2本地部署教程:精准对口型,情感随心换
人工智能·开源·aigc
量子位13 小时前
GPT-5编程专用版发布!独立连续编程7小时,简单任务提速10倍,VS Code就能用
gpt·chatgpt
拳打南山敬老院14 小时前
漫谈 MCP 构建之概念篇
前端·后端·aigc
Memene摸鱼日报20 小时前
「Memene 摸鱼日报 2025.9.16」OpenAI 推出 GPT-5-Codex 编程模型,xAI 发布 Grok 4 Fast
人工智能·aigc
安思派Anspire20 小时前
创建完整的评估生命周期以构建高(一)
aigc·openai·agent
德育处主任20 小时前
玩转 Strands:AI Agent 开发,原来可以这么简单!
后端·aigc