每日基础课

1. 生活类比：时钟指针 想象每个音频帧或词都是一个表盘上的指针。 第 1 秒（位置 1），指针转了 10 度；第 3 秒（位置 3），指针转了 30 度。 第 5 秒（位置 5），指针转了 50 度；第 7 秒（位置 7），指针转了 70 度。 现在看相对距离：位置 1 到 3 相差 2 秒，夹角是 30 - 10 = 20 度；位置 5 到 7 同样相差 2 秒，夹角是 70 - 50 = 20 度。 无论绝对时刻多晚，只要两帧之间相隔 2 秒，它们的相对夹角就完全一致！点乘内积看的正是向量夹角，因此模型自然掌握了“相对时间差”。

2. 核心数学表达与符号解释 RoPE 针对 Query 向量 $\mathbf{q}$ 和 Key 向量 $\mathbf{k}$ 独立进行。把一个 $d$ 维向量每两位看作一个二维平面向量 $(x_1, x_2)$。在位置 $m$ 处的二维旋转公式为：

$$ \mathbf{q}_m^{(1,2)} = \begin{pmatrix} \cos(m\theta) & -\sin(m\theta) \\ \sin(m\theta) & \cos(m\theta) \end{pmatrix} \begin{pmatrix} q_1 \\ q_2 \end{pmatrix} $$

符号说明： - $m$：当前词或音频帧的绝对位置索引（比如第 5 帧，$m=5$）。 - $\theta$：该维度子空间分配的固定旋转基础频率（通常越后面的维度，$\theta$ 越小，指针转得越慢）。 - $q_1, q_2$：Query 向量在某一维配对中的两个标量值。 - 计算内积时，$\mathbf{q}_m^\top \mathbf{k}_n$ 经过三角函数展开后，绝对位置 $m$ 和 $n$ 消失，只剩下包含相对距离 $(m - n)\theta$ 的项。

3. 它解决什么问题？没有它会怎样？ Transformer 的自注意力计算天生具有“置换不变性”。没有位置编码，输入序列打乱顺序，输出结果完全不变。 在说话人日志（Speaker Diarization）中，如果不给位置信息，模型分不清“说话人 A 在 0 秒发言、说话人 B 在 10 秒发言”和“B 在 0 秒发言、A 在 10 秒发言”的区别。时序彻底错乱，切分与聚类直接失效。

核心思路： 1. 生成每个位置的旋转角度 $\theta_m = m \times \text{base\_freq}$。 2. 对输入 2D 向量 $(x_1, x_2)$，计算旋转后的新坐标：$x_1' = x_1 \cos\theta - x_2 \sin\theta$，$x_2' = x_1 \sin\theta + x_2 \cos\theta$。 3. 验证相对不变性。

完整可运行代码：

import torch

def apply_rope_2d(x: torch.Tensor, theta_base: float = 0.5) -> torch.Tensor:
    """
    对最后一维为 2 的向量施加二维 RoPE 旋转
    x 形状: [batch_size, seq_len, 2]
    """
    seq_len = x.shape[1]
    # 生成位置索引: [0, 1, 2, ..., seq_len - 1]
    positions = torch.arange(seq_len, dtype=torch.float32, device=x.device)
    # 计算每个位置的旋转弧度 angles: [seq_len]
    angles = positions * theta_base
    
    cos = torch.cos(angles).unsqueeze(0).unsqueeze(-1)  # [1, seq_len, 1]
    sin = torch.sin(angles).unsqueeze(0).unsqueeze(-1)  # [1, seq_len, 1]
    
    x1 = x[..., 0:1]  # [batch, seq_len, 1]
    x2 = x[..., 1:2]  # [batch, seq_len, 1]
    
    # 2D 旋转公式
    x1_rot = x1 * cos - x2 * sin
    x2_rot = x1 * sin + x2 * cos
    
    return torch.cat([x1_rot, x2_rot], dim=-1)

# === 验证环节 ===
torch.manual_seed(42)
seq_len = 5
dim = 2

# 构造常数特征向量（模拟在不同时间步出现的相同声学特征）
q_vec = torch.tensor([1.0, 2.0])
k_vec = torch.tensor([3.0, 1.0])

# 沿时间步广播为 [1, seq_len, 2]
q = q_vec.repeat(1, seq_len, 1)
k = k_vec.repeat(1, seq_len, 1)

# 施加 RoPE
q_rot = apply_rope_2d(q)
k_rot = apply_rope_2d(k)

# 检验位置 (1, 3) 的内积，相对距离为 3 - 1 = 2
score_1_3 = torch.dot(q_rot[0, 1], k_rot[0, 3])

# 检验位置 (2, 4) 的内积，相对距离为 4 - 2 = 2
score_2_4 = torch.dot(q_rot[0, 2], k_rot[0, 4])

print(f"位置对 (1, 3) 的注意力分数: {score_1_3.item():.6f}")
print(f"位置对 (2, 4) 的注意力分数: {score_2_4.item():.6f}")
diff = torch.abs(score_1_3 - score_2_4).item()
print(f"内积差值: {diff:.8f}")

assert diff < 1e-6, "验证失败：相对位置内积不守恒！"
print(">>> 验证成功！RoPE 成功将绝对位置转换为了严格的相对距离感知。")