LLM学习笔记(7)Scaled Dot-product Attention

虽然 Attention 有许多种实现方式,但是最常见的还是 Scaled Dot-product Attention。

ChatGPT 页面 来类比说明

Query 类比:

  • 在当前 ChatGPT 页面中,Query 就是你输入的问题或请求。
  • 例如,当你输入一句话 "Query 和 Key 是什么?",这相当于提出了一个查询(Query),它表示你希望从模型中获取关于 "Query 和 Key" 的相关信息。

Key 类比:

  • Key 就像是 ChatGPT 的知识索引,存储着大量可能的回答的"入口"或"标签"。
  • 比如,模型内部已经存储了与 "Query" 和 "Key" 概念相关的所有信息,它们以一种组织良好的方式被表示为一组"键"(Key)。这些键是用于索引知识点的。

Value 类比:

  • Value 是与这些 Key 索引相关联的实际内容或信息,也就是答案的实际内容。
  • 在模型中,每个 Key 都对应具体的 Value,例如,Key "Query 和 Key" 对应了一个解释它们概念的文本内容。

类比流程

  1. 你输入问题:

    • 当你输入 "Query 和 Key 是什么?" ,这一输入作为 Query 被发送到模型。
  2. 模型检索 Key:

    • ChatGPT 会将你的 Query 与它的知识库中的所有 Key 进行比较,找到最相关的 Key。例如,"Query" 和 "Key" 可能匹配到模型内部的一些知识点(Key):
      • Key1: "Attention 机制的 Query 和 Key 定义"
      • Key2: "Transformer 中的 Query 和 Key 应用"
  3. 计算相关性:

    • 模型会通过点积计算你的 Query 和每个 Key 的相似度,决定这些 Key 与 Query 的相关程度。相似度越高,模型就越认为这个 Key 相关。
  4. 生成答案:

    • 根据 Key 的相关性分配权重,从相应的 Value(知识内容)中提取和整合信息,生成一个最终的答案作为回复。

Transformer 模型中,QueryKey 是用于计算注意力权重的两个重要概念。它们的设计来源于信息检索系统的思想,其中 Query 表示检索请求,Key 表示被检索的索引。通过比较 QueryKey 的相似性,模型决定哪些信息(由 Value 提供)更相关。

Query 和 Key 的工作原理

  1. 相似性计算:

    • QueryKey 的点积表示它们的相似性程度。
    • 相似性越大,表示当前 Query 更应该关注对应 Key 位置的 Value
  2. 注意力权重计算:

    • 点积结果经过缩放和 Softmax 归一化后,生成注意力权重 wijw_{ij}wij,表示 Query_iKey_j 的关注程度。
  3. 结合 Value:

    • 最终注意力权重 wijw_{ij}wij 会作用于 Value,将所有位置的 Value 加权求和,生成新的上下文表示。
相关推荐
阿坡RPA9 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049939 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心9 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI11 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
云上艺旅12 小时前
K8S学习之基础七十四:部署在线书店bookinfo
学习·云原生·容器·kubernetes
凯子坚持 c12 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20512 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清13 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh13 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员13 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn