【基础理论】位置向量|位置编码学习笔记

位置向量(准确说应该叫 "位置编码")的设计特别巧妙,既能让模型区分词的顺序,又能适应任意长度的句子,还不增加太多计算量。它是 2017 年 Transformer 那篇经典工作里提出的,背后是谷歌的一个研究团队(Vaswani 等人),能想出用正弦余弦函数生成位置信息,确实很有洞察力~

一、先明确:位置向量的核心作用------给"词向量"加"顺序标签"

Transformer处理文本时,会把句子里的所有词并行计算(同时处理"我""喜欢""猫"),但这样会丢失"词的顺序信息"(比如分不清"我喜欢猫"和"猫喜欢我")。

位置向量的作用就是:给每个词的"词嵌入向量"(比如512维)补充"位置信息" ,让模型知道"哪个词在前、哪个词在后"。

关键前提:位置向量的维度必须和词嵌入向量一致(比如词嵌入是512维,位置向量也得是512维)------只有维度相同,才能直接"相加"(不是拼接),既保留词的语义,又加上位置信息。

二、位置向量的"样子":两个核心特征

位置向量没有"固定不变的数字",但有固定的维度结构 和可预测的数值规律,我们从这两点拆解"长什么样"。

1. 维度结构:和词嵌入向量完全一致(常用512维)

无论句子里的词在"第几个位置"(比如第1个词、第10个词、第100个词),它的位置向量维度都和"词嵌入向量的维度(d_model)"保持一致:

  • 若d_model=512(日常最常用的设置):每个位置的位置向量都是 512维(一串512个数字);
  • 若d_model=128(小模型常用):每个位置的位置向量都是 128维。

举个直观例子:

句子"我喜欢猫"有3个词,分别在"位置1""位置2""位置3",每个词的位置向量都是512维,形状如下(用"数字1, 数字2, ..., 数字512"表示):

  • 位置1的位置向量:a₁, a₂, a₃, ..., a₅₁₂
  • 位置2的位置向量:b₁, b₂, b₃, ..., b₅₁₂
  • 位置3的位置向量:c₁, c₂, c₃, ..., c₅₁₂

核心:不同位置的向量,维度相同,但里面的数字不同(以此区分位置)。

2. 数值规律:按"周期性"变化(不用记公式,看规律)

位置向量的数值是通过"正弦(sin)和余弦(cos)函数"生成的,但不用纠结复杂公式,重点理解**"不同位置的向量,数值有固定变化规律,且每个位置的向量都是唯一的"**:

  • 对于位置向量的"偶数维度"(比如第2维、第4维、第6维...):用正弦函数生成,周期随维度增大而变长;
  • 对于位置向量的"奇数维度"(比如第1维、第3维、第5维...):用余弦函数生成,周期同样随维度增大而变长。
用"简化例子"看数值规律(d_model=4,小维度更易理解)

假设d_model=4(位置向量是4维),我们看"位置1""位置2""位置3"的位置向量数值(数字仅为示例,体现规律):

位置编号 位置向量(4维) 数值规律说明
位置1 sin(1), cos(1), sin(1×4), cos(1×4) 第1维(奇数):sin(1);第2维(偶数):cos(1);第3维(奇数):sin(4);第4维(偶数):cos(4)
位置2 sin(2), cos(2), sin(2×4), cos(2×4) 位置变2,"括号里的数"也变2,数值随位置递增而变化
位置3 sin(3), cos(3), sin(3×4), cos(3×4) 同理,位置3对应"括号里的数=3",数值继续变化
关键观察:
  • 同一维度(比如第1维):不同位置的数值不同(sin(1)≠sin(2)≠sin(3)),能区分"位置1/2/3";
  • 同一位置(比如位置1):4个维度的数值组合是唯一的(sin(1),cos(1),sin(4),cos(4)),不会和其他位置重复;
  • 周期变化:维度越大,"括号里的乘数"越大(比如第3维乘数是4,第1维是1),数值变化周期越长,能覆盖"很长的句子"(哪怕句子有1000个词,也能生成唯一的位置向量)。

三、位置向量的"使用方式":和词嵌入向量"直接相加"

位置向量不是"单独用",而是和词嵌入向量结合后,作为Transformer的最终输入:
最终输入向量 = 词嵌入向量 + 位置向量

用简化例子(d_model=4)看结合过程:

  1. 词嵌入向量(比如"喜欢"的向量):0.2, 0.5, -0.1, 0.3;
  2. 位置向量("喜欢"在位置2):sin(2), cos(2), sin(8), cos(8) ≈ 0.909, 0.416, 0.989, -0.145;
  3. 相加后的最终输入向量:0.2+0.909, 0.5+0.416, -0.1+0.989, 0.3+(-0.145) ≈ 1.109, 0.916, 0.889, 0.155。

为什么相加不是拼接? 因为相加能在"不增加维度"的前提下,把位置信息融入词向量------如果拼接,维度会变成512+512=1024,会增加后续计算量,且不符合Transformer的输入设计。

四、核心总结:位置向量的3个关键"样子"特征

  1. 维度固定匹配:和词嵌入向量的维度(d_model)完全一致(常用512维),确保能直接相加;
  2. 数值唯一且有规律:每个位置的向量数值都是唯一的,通过"正弦/余弦的周期性变化"生成,能清晰区分"第1个词、第2个词...第N个词";
  3. 与词嵌入结合使用:不是单独存在,而是和词嵌入向量相加,形成"带位置信息的词向量",作为Transformer的输入基础。

不用记生成公式! 只需记住:位置向量的核心是"给词加顺序标签",维度和词嵌入一致,数值能区分不同位置,通过相加融入即可。

附:简化可视化

假设d_model=4,句子长度=3,位置向量的"样子"可简化为下表(数值为近似值,体现规律):

位置编号 位置向量(4维) 对应"词+位置"示例
1 0, 1, 0, 1 "我"(第1个词)的位置向量
2 0.909, 0.416, 0.989, -0.145 "喜欢"(第2个词)的位置向量
3 0.141, -0.989, -0.757, -0.654 "猫"(第3个词)的位置向量
相关推荐
β添砖java1 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
zhuangzhao1191 小时前
第一性原理大模型课程 · 第 21 课:从 Prompt 到 Agent:四件套、错误累积与 ReAct 手算
大模型·react·ai agent·错误累积·大模型课程
智联视频超融合平台15 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
谙弆悕博士1 天前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
Chuck.li1 天前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
高洁011 天前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
谙弆悕博士1 天前
多智能体架构详解:黑板共享架构(共享存储交互型)
人工智能·架构·大模型·agent·多智能体·黑板架构·anggraph
学无止境小袁同学1 天前
OpenAI Agents SDK 模板操作手册(可直接操作)
大模型·openai·agent·sdk·大模型应用
九卷2 天前
本体(Ontology)是什么?在 AI 中,本体的作用到底是什么?.md
大模型·agent
Soari2 天前
大语言模型LLM综述解读:从预训练到评测,建立理解 LLM 的技术地图
transformer·大语言模型·tsn·rlhf·指令微调