GPT是什么?直观解释Transformer | 深度学习第5章 【3Blue1Brown 官方双语】

【官方双语】GPT是什么?直观解释Transformer | 深度学习第5章

0:00 - 预测,采样,重复:预训练/生成式/Transformer模型

3:03 - Transformer 的内部结构

6:36 - 本期总述

7:20 - 深度学习的大框架

12:27 - GPT的第一层:词嵌入为向量(embedding)

18:25 - 嵌入空间不仅代表词,还能包含上下文信息

20:22 - GPT的最后一层:向量解码为词(Unembedding)

22:22 - 带温度的 Softmax 函数

26:03 - 下期预告:深入注意力机制

1.0. GPT的解释





预测后续内容

  • 视频重要内容

1.1 Token的解释







词的含义不同(以model举例)

注意力模块的工作:


后续是接多层感知器(MLP)或者叫做前馈神经网络:





深度学习系列课程

1.2 权重



八个类别:



1.3 词嵌入






几何角度理解:



举个例子:



  • 点积



几何角度:
















1.4 上下文长度







1.5 输出




  • 涉及两个步骤





1.6 解嵌入矩阵





1.7 Softmax




















下一章:Attention

相关推荐
VIP_CQCRE14 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷15 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我16 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁0116 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn17 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄17 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下18 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码18 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
琳少_18 小时前
java程序开发笔记
java·开发语言·数据库·笔记
锋行天下19 小时前
langgraph 全栈项目(二)
前端·人工智能·后端