GPT的实现细节

关于GPT的代码细节,这里梳理了一下:

数据集构造

原始数据集schema:

text 复制代码
input=who is your favorite basketball player?
output=Of course Kobe Bryant!

那么在构造训练集时,根据chunk size构造多个输入:

text 复制代码
input_1=who is your favorite basketball player? Of
input_2=who is your favorite basketball player? Of course
......
input_n-1=who is your favorite basketball player? Of course Kobe Bryant!
input_n=who is your favorite basketball player? Of course Kobe Bryant! <EOS>

由于训练任务是下一个单词预测,所以 x = i n p u t : − 1 , y = i n p u t 1 : x=input:-1, y=input1: x=input:−1,y=input1:

loss

x x x是模型可见已知的,需要mask掉,不算入loss:

python 复制代码
y[:-1] = -1
loss = F.cross_entropy(logits.view(-1, logits.size(-1)), targets.view(-1), ignore_index=-1)

生成

在karpathy/minGPT项目中,是直接粗暴地生成固定长度的文本。这样做的问题就是生成的文本无法判断何处阶段。

在构造模型输入的时候,我们就加入了 <EOS> token,来标记文本的结束。那么在推理阶段,如果碰到该token,则结束生成:

python 复制代码
if token == "<EOS>":
    break

参考

相关推荐
泓博11 小时前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
Eloudy1 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
小小-猿2 天前
从 gpt-6-luna 到第一个 Nexent 智能体:配置、调试与发布
gpt·大模型·智能体·ai智能体·nexent
良逍Ai出海2 天前
用上 Gemini 4 Carbon:比 GPT-6 Astra 还强
gpt
可乐ea3 天前
智能体的模型列表为什么要从三处来源合成:一次让 GPT-6.1 Sol 选不上的发布延迟
人工智能·gpt·chatgpt·智能体框架·模型列表·多源数据合成·客户端工程
AllData公司负责人3 天前
AI大模型数据开发底座系列说明书:AllData集成DB-GPT开源项目建设 AI 多模态分析底座,涵盖模态解析/智能大屏/MCP 扩展!
大数据·数据库·人工智能·gpt·数据采集·数据接入·模态解析
汤姆宝库4 天前
从零手写一个GPT:预训练循环的完整实现
gpt
夕阳_醉了5 天前
Codex 客户端从装好到跑通:第三方 API 接入与配置避坑指南
人工智能·gpt·openai·codex·ai 编程
变量棱镜7 天前
GPT-6.2 灰度的 3D 演示火了
gpt
一缕82年的清风7 天前
没买显卡,我用 Google Colab 免费跑通了 AI 生图:从零部署 Z-Image Turbo
gpt·claude·gemini