位置编码决定模型对"词的顺序"的感知方式。RoPE(Rotary Position Embedding)之所以成为主流,是因为它把相对位置信息直接注入注意力打分、且数学上允许外推------但朴素外推会崩坏,必须配合缩放策略。这篇文章给出完整推导与实现,并解释长上下文扩展的四条路线。
一、推导:从"打分只依赖相对位置"出发
目标性质:q_m 与 k_n 的内积应当只依赖 m−n。实现方式是把每个位置的向量在二维平面上旋转一个角度 mθ:二维旋转矩阵的乘积满足 R(mθ)ᵀ·R(nθ) = R((n−m)θ)------内积自动只含相对位置。把 d 维向量切成 d/2 个二维平面,每个平面用不同频率 θ_i = base^(−2i/d) 旋转,低维高频(近距敏感)、高维低频(远距敏感),形成类似时钟的分层刻度:
python
import torch
def rope_freqs(dim, seq_len, base=10000.0, device="cpu"):
inv = 1.0 / (base ** (torch.arange(0, dim, 2, device=device) / dim))
t = torch.arange(seq_len, device=device).float()
return torch.polar(torch.ones_like(t), t.unsqueeze(-1) * inv) # (seq, dim/2)
def apply_rope(x, freqs):
"""x: (batch, seq, heads, dim); 复数视角实现旋转"""
x_c = torch.view_as_complex(x.float().reshape(*x.shape[:-1], -1, 2))
f = freqs.view(1, -1, 1, x.shape[-1] // 4) # 广播到 heads
return torch.view_as_real(x_c * f).flatten(3).type_as(x)
实现在工程上不用复数(三角函数展开成"相邻两维交叉乘加"更省),但复数视角最能暴露数学本质:RoPE 是纯乘性的、逐位置独立的、不引入可学习参数。对 Q 和 K 各旋转一次,注意力的打分即携带相对距离。
二、外推为什么会崩坏:分布外的高频
用预训练 4K 的模型直接推理 32K 会灾难性失败,原因清晰可拆。其一,绝对位置的分布外 :第 5 万个位置的角度 mθ_0(低维高频)在预训练中从未出现,旋转超出训练时见过的角度范围。其二,相对距离的分布外 :训练中最长见过 4K 的距离差,推理时出现 30K 的距离差。其三,注意力的熵坍缩 :超长序列下某些 query 对极远的 key 打出反常高分,注意力集中在无关位置------微观机制是低频维的长距分辨能力并未真正学到。三条原因指向同一个结论:直接外推不是"再想想"能解决的,必须改变频率的分布本身。
三、四条外推路线与实现
python
# 路线1: 线性缩放(PI) ------ 把位置整体除以扩展倍数
def rope_freqs_pi(dim, seq_len, base=10000.0, scale=8.0):
inv = 1.0 / (base ** (torch.arange(0, dim, 2) / dim))
t = torch.arange(seq_len).float() / scale # 位置先压缩
return torch.polar(torch.ones_like(t), t.unsqueeze(-1) * inv)
# 路线2: NTK-aware ------ 只压低频维, 高频维几乎不动
def rope_freqs_ntk(dim, seq_len, base=10000.0, scale=8.0):
new_base = base * (scale ** (dim / (dim - 2))) # 抬高 base
return rope_freqs(dim, seq_len, base=new_base)
# 路线3: YaRN ------ 频率相关的混合插值 + 注意力温度修正
def yarn_interpolation(dim, scale, base=10000.0, alpha=1.0, beta=32):
inv = 1.0 / (base ** (torch.arange(0, dim, 2) / dim))
# ramp: 低频维(scale>beta)做1/scale插值, 高频维(<alpha)不动, 中间平滑过渡
ramp = torch.clamp((scale * inv - alpha) / (beta - alpha), 0.0, 1.0)
return inv / (1 + (scale - 1) * ramp)
四条路线的谱系值得记牢。线性插值(PI) :所有频率等比压缩,实现最简但高频维的近距分辨被无谓牺牲,需要少量微调恢复。NTK-aware :抬高 base 等价于"高频不动、低频外推",无需微调即有可用效果------直觉是高频维负责近距(训练时已充分学习、不该动),低频维负责远距(本来就没学满、压缩了正好)。YaRN :对每维做频率相关的平滑混合(介于 PI 与 NTK 之间),并按扩展倍数修正注意力 softmax 的温度------它把两条路线的缺陷各自修掉,是目前无需全量训练的外推效果上限。微调外推:长序列上用少量步数继续训练位置编码相关参数,任何路线加上微调都更强。
四、实现层面的坑与验证方法
三个高频事故点。第一,缩放必须全局一致 :训练与推理用不同的频率实现(哪怕数学等价但数值实现不同),注意力分布会整体漂移------位置编码的实现对一个模型而言是"出生即定终身",中途更换等于换脑子。第二,GQA 与 MQA 下的形状 :K/V 的头数少于 Q,旋转矩阵要按 K/V 的头数广播,形状错误是 RoPE 实装最常见的 bug 来源。第三,验证不能只看困惑度 :长上下文能力要测"大海捞针"式检索(在超长文本中间埋一条需要精确复述的信息)------困惑度对外推崩坏不敏感,捞针准确率才是位置编码是否真的扩展成功的试金石。RoPE 的故事有一个比实现更重要的启示:它证明了位置编码是一个可以事后手术的部件------不动权重、只改频率分布,就能把 4K 的模型拉到 128K。这种"找对了数学结构,扩展就变成调参"的运气,在整个架构里并不多见。