技术栈
下一个词预测
Lee_jerome
1 天前
gpt
·
生成式
·
decoder
·
topk
·
自回归
·
temperature
·
下一个词预测
python神经网络编程入门（四十二）——GPT：自回归生成式预训练
📍 路标：本篇位于《从零构建 Transformer》系列 第 13/16 章 · 预训练篇（收官）。 系列主线：注意力思想 → 自注意力 → 多头 → 位置编码 → 编解码架构 → 手撕实现 → 预训练模型 → 实战微调 → 知识收官。 进度：▸ 基石篇(1-5) ▸ 架构篇(6-10) ▸ 预训练篇(11-13·本篇) ▸ 实战篇(14-16)
我是有底线的