GPT是什么?直观解释Transformer | 深度学习第5章 【3Blue1Brown 官方双语】

【官方双语】GPT是什么?直观解释Transformer | 深度学习第5章

0:00 - 预测,采样,重复:预训练/生成式/Transformer模型

3:03 - Transformer 的内部结构

6:36 - 本期总述

7:20 - 深度学习的大框架

12:27 - GPT的第一层:词嵌入为向量(embedding)

18:25 - 嵌入空间不仅代表词,还能包含上下文信息

20:22 - GPT的最后一层:向量解码为词(Unembedding)

22:22 - 带温度的 Softmax 函数

26:03 - 下期预告:深入注意力机制

1.0. GPT的解释





预测后续内容

  • 视频重要内容

1.1 Token的解释







词的含义不同(以model举例)

注意力模块的工作:


后续是接多层感知器(MLP)或者叫做前馈神经网络:





深度学习系列课程

1.2 权重



八个类别:



1.3 词嵌入






几何角度理解:



举个例子:



  • 点积



几何角度:
















1.4 上下文长度







1.5 输出




  • 涉及两个步骤





1.6 解嵌入矩阵





1.7 Softmax




















下一章:Attention

相关推荐
说私域1 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技1 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_11 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
码荼2 小时前
学习开发之hashmap
java·python·学习·哈希算法·个人开发·小白学开发·不花钱不花时间crud
书玮嘎2 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎2 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊2 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪
CareyWYR3 小时前
大模型真的能做推荐系统吗?ARAG论文给了我一个颠覆性的答案
人工智能
特立独行的猫a3 小时前
百度AI文心大模型4.5系列开源模型评测,从安装部署到应用体验
人工智能·百度·开源·文心一言·文心一言4.5