翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习四

合集 ChatGPT 通过图形化的方式来理解 Transformer 架构

  1. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习一
  2. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习二
  3. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习三
  4. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习四
  5. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习五
  6. 翻译: 什么是ChatGPT 通过图形化的方式来理解 Transformer 架构 深度学习六

同样,词的嵌入方式是通过数据学习的。

这个嵌入矩阵揭示了每个词的变化过程,

它是我们模型中的第一批权重,

根据GPT-3,其词汇量具体为50,257 tokens,

但请注意,它实际上并不指单词本身,而是指tokens。

嵌入维度为12,288。

将两者相乘,我们得到大约6.17亿个权重。

我们将这个数字添加到我们的累计计数中,最终,我们应该得到1750亿个权重。

当你谈论transformers时,你会想到这些嵌入在空间中的向量不仅代表单个单词。

它们还携带有关单词位置的信息,我们将在后面更详细地解释。

但更重要的是,这些向量吸收并反映上下文。

例如,一个最初代表"king"的向量可能会随着它与网络中各个点的交互而逐渐变化,所以最后,它指向一个更具体、更微妙的方向,

以某种方式编码了一个生活在苏格兰的国王,他在杀死前任国王后获得了这个位置,并以充满莎士比亚语言的方式被描绘。

想想你对一个词的理解通常是如何形成的。

这个词的意义在很大程度上取决于它所处的上下文,

有时甚至来自遥远的上下文。

因此,在构建预测下一个词的模型时,关键目标是使其能够有效地整合上下文信息。

需要明确的是,在第一步中,当我们根据输入文本创建一个向量数组时,每个向量都是直接从嵌入矩阵中挑选出来的。

这意味着,起初,每个向量只代表一个词的意义,并不涉及其周围的信息。

但我们的主要目标是让这些向量通过网络,

使每个向量获得比单个词更丰富、更具体的含义。

这个网络一次只能处理一定数量的向量,这被称为上下文大小(context size)。

对于GPT-3,它的训练上下文大小为2048,这意味着当数据流经网络时,它总是看起来像一个有2048列的数组,每列有12,288个维度。

这个上下文大小2048限制了Transformer在预测下一个词时可以包含的文本量。

这解释了为什么,如果你与某些聊天机器人(如早期版本的ChatGPT)进行长时间对话,你可能会感觉机器人在对话中迷失了方向,特别是如果对话持续时间过长。

我们将在适当的时候更详细地讨论注意力机制,但让我们简要地看一下最后阶段。

请记住,最终目标是生成一个概率分布,预测下一个可能的token。

例如,如果最后一个词是"professor",

并且上下文包含诸如"Harry Potter"之类的词,

后面跟着"least favorite teacher",如果我可以稍微玩一下的话,假设tokens是完整的单词。

那么,一个训练有素、了解哈利波特世界的网络很可能会给单词"Snape"一个很高的权重。

参考

https://youtu.be/wjZofJX0v4M?si=DujTHghH5dYM3KpZ

相关推荐
진영_4 小时前
Transformer(一)---背景介绍及架构介绍
人工智能·深度学习·transformer
星楠_0014 小时前
logits和softmax分布
人工智能·python·深度学习
东方芷兰6 小时前
LLM 笔记 —— 01 大型语言模型修炼史(Self-supervised Learning、Supervised Learning、RLHF)
人工智能·笔记·神经网络·语言模型·自然语言处理·transformer
AI数据皮皮侠10 小时前
中国各省森林覆盖率等数据(2000-2023年)
大数据·人工智能·python·深度学习·机器学习
蒋星熠16 小时前
TensorFlow与PyTorch深度对比分析:从基础原理到实战选择的完整指南
人工智能·pytorch·python·深度学习·ai·tensorflow·neo4j
老坛程序员18 小时前
开源项目Sherpa-onnx:全平台离线语音识别的轻量级高性能引擎
人工智能·深度学习·机器学习·语音识别
无风听海18 小时前
神经网络之Softmax激活函数求导过程
人工智能·深度学习·神经网络
、、、、南山小雨、、、、19 小时前
Pytorch强化学习demo
pytorch·深度学习·机器学习·强化学习
云澈ovo20 小时前
稀疏化神经网络:降低AI推理延迟的量化压缩技术
人工智能·深度学习·神经网络
炘东5921 天前
vscode连接算力平台
pytorch·vscode·深度学习·gpu算力