翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习四

合集 ChatGPT 通过图形化的方式来理解 Transformer 架构

  1. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习一
  2. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习二
  3. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习三
  4. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习四
  5. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习五
  6. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习六

同样,词的嵌入方式是通过数据学习的。

这个嵌入矩阵揭示了每个词的变化过程,

它是我们模型中的第一批权重,

根据GPT-3,其词汇量具体为50,257 tokens,

但请注意,它实际上并不指单词本身,而是指tokens。

嵌入维度为12,288。

将两者相乘,我们得到大约6.17亿个权重。

我们将这个数字添加到我们的累计计数中,最终,我们应该得到1750亿个权重。

当你谈论transformers时,你会想到这些嵌入在空间中的向量不仅代表单个单词。

它们还携带有关单词位置的信息,我们将在后面更详细地解释。

但更重要的是,这些向量吸收并反映上下文。

例如,一个最初代表"king"的向量可能会随着它与网络中各个点的交互而逐渐变化,所以最后,它指向一个更具体、更微妙的方向,

以某种方式编码了一个生活在苏格兰的国王,他在杀死前任国王后获得了这个位置,并以充满莎士比亚语言的方式被描绘。

想想你对一个词的理解通常是如何形成的。

这个词的意义在很大程度上取决于它所处的上下文,

有时甚至来自遥远的上下文。

因此,在构建预测下一个词的模型时,关键目标是使其能够有效地整合上下文信息。

需要明确的是,在第一步中,当我们根据输入文本创建一个向量数组时,每个向量都是直接从嵌入矩阵中挑选出来的。

这意味着,起初,每个向量只代表一个词的意义,并不涉及其周围的信息。

但我们的主要目标是让这些向量通过网络,

使每个向量获得比单个词更丰富、更具体的含义。

这个网络一次只能处理一定数量的向量,这被称为上下文大小(context size)。

对于GPT-3,它的训练上下文大小为2048,这意味着当数据流经网络时,它总是看起来像一个有2048列的数组,每列有12,288个维度。

这个上下文大小2048限制了Transformer在预测下一个词时可以包含的文本量。

这解释了为什么,如果你与某些聊天机器人(如早期版本的ChatGPT)进行长时间对话,你可能会感觉机器人在对话中迷失了方向,特别是如果对话持续时间过长。

我们将在适当的时候更详细地讨论注意力机制,但让我们简要地看一下最后阶段。

请记住,最终目标是生成一个概率分布,预测下一个可能的token。

例如,如果最后一个词是"professor",

并且上下文包含诸如"Harry Potter"之类的词,

后面跟着"least favorite teacher",如果我可以稍微玩一下的话,假设tokens是完整的单词。

那么,一个训练有素、了解哈利波特世界的网络很可能会给单词"Snape"一个很高的权重。

参考

https://youtu.be/wjZofJX0v4M?si=DujTHghH5dYM3KpZ

相关推荐
通街市密人有40 分钟前
PanTS: The Pancreatic Tumor Segmentation Dataset
人工智能·深度学习·计算机视觉
九章云极AladdinEdu3 小时前
冷冻电镜重构的GPU加速破局:从Relion到CryoSPARC的并行重构算法
人工智能·pytorch·深度学习·机器学习·自然语言处理·架构·gpu算力
clz13145214 小时前
二,神经网络
人工智能·深度学习·神经网络
陈敬雷-充电了么-CEO兼CTO4 小时前
主流大模型Agent框架 AutoGPT详解
人工智能·python·gpt·ai·chatgpt·nlp·aigc
美狐美颜SDK开放平台4 小时前
未来已来:美颜SDK如何通过深度学习实现个性化美颜形象?
人工智能·深度学习·美颜sdk·直播美颜sdk·视频美颜sdk·直播美颜工具·美颜api
禺垣5 小时前
深度学习模型在C++平台的部署
深度学习
CoovallyAIHub5 小时前
基于YOLOv11的CF-YOLO,如何突破无人机小目标检测?
深度学习·算法·计算机视觉
Virgil1398 小时前
【TrOCR】训练代码
人工智能·深度学习·ocr
烟锁池塘柳08 小时前
【深度学习】神经网络剪枝方法的分类
深度学习·神经网络·剪枝
锅挤8 小时前
深度学习3(向量化编程+ python中实现逻辑回归)
人工智能·深度学习