Transformer架构中的自注意力机制本身是置换不变的，也就是说，把输入句子的词序打乱，注意力的输出在数学上不会有任何区别。为了让模型感知词与词之间的顺序关系，必须额外注入位置信息。早期的主流做法是正弦位置编码和可学习位置编码，但这两者都属于绝对位置编码，在处理长文本外推时表现平平。苏剑林提出的旋转位置编码RoPE（Rotary Position Embedding）换了一个思路：把位置信息直接作用在注意力机制中的查询向量和键向量上，通过旋转变换让二者的内积只依赖于相对位置。这个设计如今已经成为LLaMA、Qwen、GLM等一众开源大模型的标准配置，理解它是读懂现代大模型源码绕不开的一环。
一、为什么需要旋转位置编码：绝对编码的局限
先回顾一下问题的源头。自注意力计算的核心公式是softmax(QK^T/√d)V，其中Q和K的每一行分别对应一个token的查询和键表示。如果去掉位置信息，句子“猫追狗”和“狗追猫”经过注意力计算后会得到完全相同的结果，这显然违背了语言的直觉。位置编码的任务就是让模型在计算注意力得分时能感知token所处的位置。
Google在原始Transformer论文中提出了正弦位置编码，用不同频率的sin和cos函数为每个位置生成一个固定向量，加到词嵌入上。BERT则采用可学习的位置嵌入矩阵，每个位置对应一个可训练的向量。这两种方案共同的短板在于：它们都是把位置信息加在输入层，经过多层线性变换和非线性激活之后，位置信息与语义信息深度纠缠，模型很难从中恢复出精确的相对距离。而语言理解中最有价值的恰恰是相对位置——一个词是它前面第三个词还是后面第三个词，比它处于整个句子的第几号位置重要得多。
苏剑林在设计RoPE时提出了一个明确的目标：找到一个函数f，使得查询q和键k在经过带位置信息的变换后，二者的内积只依赖于原始向量和相对位置m-n，而不依赖绝对位置m和n。写成数学形式就是希望<q_m, k_n> = g(q, k, m-n)。如果这个目标达成，模型天然就具备了相对位置感知能力，同时每个token只用自己绝对位置做变换，不需要像某些相对位置编码那样在注意力矩阵上逐对计算偏置，效率高得多。
二、RoPE的数学推导：从二维旋转到高维分块
推导从最简单的二维情形开始。在二维平面上，一个向量绕原点旋转角度θ，可以用旋转矩阵表示。设位置为m的token对应的旋转角度为mθ，把向量(x, y)旋转mθ，得到的结果写成矩阵乘法形式就是旋转矩阵R(mθ)乘以原向量。两个分别旋转了mθ和nθ的向量做内积时，根据旋转的正交性质，内积恰好等于原向量内积再整体旋转(m-n)θ。这个性质完美满足上面的设计目标：内积只依赖相对位置m-n。
把二维的情形推广到高维，做法非常直接：将d维向量两两分组，每一组视为一个二维平面的点，各自使用不同频率的角速度做旋转。对于第i组维度对，角速度取θ_i = 10000^(-2i/d)，这和原始Transformer正弦编码的频率设置一致。把d维向量拆成d/2个二维子空间，每个子空间独立旋转不同角度，整个变换就是一个分块对角的旋转矩阵。写成公式就是：
# RoPE的逐元素形式（不借助复数） # q的第 2i 维和 2i+1 维构成一对，旋转角度为 m * theta_i q_rot[2i] = q[2i] * cos(m*theta_i) - q[2i+1] * sin(m*theta_i) q_rot[2i+1] = q[2i] * sin(m*theta_i) + q[2i+1] * cos(m*theta_i) # k向量同理，位置换成n
苏剑林原文中用复数来表述这个推导，形式更优雅：把二维向量(x, y)看作复数x+iy，乘以模长为1的复数e^{imθ}就等价于在复平面上旋转角度mθ。两个复数共轭相乘的实部对应内积，旋转角度自然相减得到mθ-nθ=(m-n)θ。不过复数表述只是推导工具，实际工程实现全部采用实数运算，主流实现中还能看到GPT-NeoX风格（旋转前半与后半维度配对）和GPT-J风格（相邻奇偶维度配对）两种分组方式，二者数学等价，只是维度排列不同，阅读不同模型源码时要留意区分。
三、代码实现：用PyTorch写出高效的RoPE
虽然RoPE的数学形式是一个稀疏的分块旋转矩阵，但直接构造矩阵做乘法太浪费。注意到旋转只涉及维度对的线性组合，可以拆解为两次逐元素乘法：先把原向量的两个分量按cos系数加权相加得到结果的一个分量。下面给出一个清晰的PyTorch实现：
import torch
def apply_rope(x, positions=None):
# x: (batch, seq_len, dim)
seq_len, dim = x.shape[1], x.shape[2]
# 生成角速度，共 dim/2 个频率
inv_freq = 1.0 / (10000 ** (torch.arange(0, dim, 2).float() / dim))
if positions is None:
positions = torch.arange(seq_len).float()
# 计算每个位置、每个频率的旋转角度
angles = torch.outer(positions, inv_freq) # (seq_len, dim/2)
cos, sin = angles.cos(), angles.sin()
# 将x拆成奇偶两组：x1为偶数维，x2为奇数维
x1, x2 = x[..., 0::2], x[..., 1::2]
# 按旋转公式组合
rotated = torch.stack(
[x1 * cos - x2 * sin, x1 * sin + x2 * cos], dim=-1
)
return rotated.flatten(-2)
这个实现刻意写得直白，便于和公式对照。实际大模型推理框架中还会做两类优化：一是预计算cos和sin表并缓存，避免每个前向传播重复计算三角函数；二是把旋转操作融合进注意力kernel（如FlashAttention内部处理RoPE），减少显存读写。此外，由于cos和sin是周期函数，缓存的角度表长度可以远超训练时的序列长度，推理时直接索引即可，这正是RoPE天然支持外推的工程基础。
使用RoPE时还有一个容易踩的坑：RoPE只作用于Q和K，不作用于V。因为位置信息的意义在于影响注意力权重的分配，而V是加权求和的内容本身，旋转V没有任何收益反而破坏语义。另外在KV Cache场景下，各历史token的K已经旋转过并缓存，只需旋转当前步的Q和K，这也是RoPE与缓存机制天然兼容的原因。
四、与正弦编码的对比及外推能力分析
从形式上看，RoPE和原始正弦编码都用了sin、cos和同样的频率设置，很容易被误认为是一回事。二者的本质区别在于作用方式：正弦编码是加法，把位置向量直接加到输入嵌入上；RoPE是乘法，对Q和K做旋转，不改变向量模长，只改变方向。加法会污染词嵌入的语义空间，尤其当位置编码幅度与词嵌入相当时；乘法旋转则对内积的影响完全由相对位置决定，语义信息保留得更完整。实验上也验证了这一点，同规模模型下RoPE在语言建模困惑度上普遍优于正弦编码和可学习编码。
RoPE最受关注的特性是外推性。理论上，由于注意力得分只依赖相对位置m-n，只要相对距离在训练覆盖范围内，序列再长也能正常计算。但实践表明直接外推到远超训练长度的序列时效果会明显退化，原因在于旋转角度mθ随着m增大，高频分量的角度迅速超出训练时见过的范围，模型对这些角度对应的cos、sin取值分布感到陌生。为此社区发展出一系列改进方案：位置内插（PI）将位置索引线性缩放到训练范围内，配合少量微调即可扩展上下文；NTK-aware缩放调整频率基数，让高频分量保持分辨率、低频分量平滑外推；YaRN则在此基础上结合注意力温度补偿。这些方法都建立在RoPE的框架之上，恰恰说明了它的可扩展性——换作可学习的绝对位置编码，超出训练长度根本无法计算。
五、小结
RoPE的成功在于它同时满足了三个看似矛盾的需求：以绝对位置的形式编码（计算高效、与KV Cache兼容），实现相对位置的效果（符合语言建模的归纳偏置），并且具备理论上自然的外推能力。数学上它不过是把复数旋转这一经典工具搬到了注意力机制里，但正是这种从内积结构出发反推编码形式的设计思路，让它在众多位置编码方案中脱颖而出。读懂了RoPE，再去阅读LLaMA、Qwen等模型的源码，注意力模块里那些cos、sin和维度重排操作就不再是黑盒了。如果进一步想深入长度外推方向，位置内插和NTK系列方法是自然的下一步。
旋转位置编码RoPETransformer位置编码修改时间：2026-09-16 14:53:02