每日基础课

一句话定义：Cross-Attention（交叉注意力）是一种让“序列 A”拿着自己的需求，去“序列 B”里动态检索并提取相关信息的机制。

生活类比： 你在做一道菜（模态 A，比如音频），手里有一张“缺料清单”（Query）。你跑到调料仓库（模态 B，比如视频）里，对照着清单去货架标签（Key）上逐个比对，找到最匹配的调料实物（Value）拿回来用。你的产出依然是一道菜，但融入了仓库里的精华。

核心公式： $$\text{Attention}(Q_A, K_B, V_B) = \text{softmax}\left(\frac{Q_A K_B^T}{\sqrt{d_k}}\right) V_B$$

符号逐个拆解： - $Q_A$（Query，查询向量）：来自模态 A（或序列 A），代表“我想找什么”。 - $K_B$（Key，键向量）：来自模态 B（或序列 B），代表“我这里有什么索引标签”。 - $V_B$（Value，值向量）：同样来自模态 B，代表“我这里的具体内容信息”。 - $d_k$：Query 和 Key 的特征维度，除以 $\sqrt{d_k}$ 是为了防止点积数值过大导致 softmax 梯度消失。 - $\text{softmax}(\dots)$：计算 $Q_A$ 和所有 $K_B$ 的匹配度，生成归一化的权重得分（加起来为 1）。 - 输出结果：形状与 $Q_A$ 的时间序列长度完全一致，但内容已经融合了模态 B 的特征。

解决的问题与“没有它会怎样”： - 解决的问题：两个序列长度不同、模态不同（比如 100 帧的视频和 1600 帧的音频），如何精细对齐。 - 没有它会怎样：只能把音频和视频粗暴地做全连接拼起来（Concat）或者按元素相加。这要求两边强行等长，不仅丢失模态间的时序动态对应，还会引入大量无关噪声。

在音视频理解与说话人日志中的实际用法： 1. 音视频发声人定位（Active Speaker Detection）：音频特征作为 $Q_A$，候选人脸图像特征作为 $K_B, V_B$。音频拿着当前声音去匹配画面中哪张脸的唇动最符合，输出该人脸的视觉增强表征。 2. 说话人日志（Speaker Diarization / TS-VAD）：预设的说话人声纹 profile（或目标说话人 Query）作为 $Q_A$，混合音频的时序特征作为 $K_B, V_B$。模型通过 Cross-Attention 查询“当前说话人在混合音频的哪些时刻开过口”。 3. 想深入实操多模态：在 *Hugging Face Multimodal Tasks* 中可以看视频与音频的实际预处理与联合推理流程；而理解跨模态特征在投影前如何先对齐，可以参考 *Lil’Log：对比学习* 的思路。

实现思路： 1. 模块接收两个输入：`x_q`（来自音频模态）和 `x_kv`（来自视频模态）。 2. 用独立的线性层将 `x_q` 映射为 $Q$，将 `x_kv` 映射为 $K$ 和 $V$。 3. 按照多头注意力机制切分 Heads，计算点积分数、除以 $\sqrt{d_k}$ 并做 Softmax。 4. 乘以 $V$ 后拼接多头，最后经线性层输出。

完整可运行代码：

import torch
import torch.nn as nn
import math

class SimpleCrossAttention(nn.Module):
    def __init__(self, d_model_q: int, d_model_kv: int, embed_dim: int, num_heads: int):
        super().__init__()
        assert embed_dim % num_heads == 0, "embed_dim 必须能被 num_heads 整除"
        
        self.embed_dim = embed_dim
        self.num_heads = num_heads
        self.head_dim = embed_dim // num_heads

        # Q 来自模态 A（如音频），K 和 V 来自模态 B（如视频）
        self.q_proj = nn.Linear(d_model_q, embed_dim)
        self.k_proj = nn.Linear(d_model_kv, embed_dim)
        self.v_proj = nn.Linear(d_model_kv, embed_dim)
        self.out_proj = nn.Linear(embed_dim, embed_dim)

    def forward(self, x_q: torch.Tensor, x_kv: torch.Tensor):
        """
        x_q:  [Batch, Seq_Len_Q,  d_model_q]   (例如: 音频特征)
        x_kv: [Batch, Seq_Len_KV, d_model_kv]  (例如: 视频特征)
        """
        B, T_q, _ = x_q.shape
        _, T_kv, _ = x_kv.shape

        # 1. 线性投影并拆分多头 -> [B, num_heads, T, head_dim]
        Q = self.q_proj(x_q).view(B, T_q, self.num_heads, self.head_dim).transpose(1, 2)
        K = self.k_proj(x_kv).view(B, T_kv, self.num_heads, self.head_dim).transpose(1, 2)
        V = self.v_proj(x_kv).view(B, T_kv, self.num_heads, self.head_dim).transpose(1, 2)

        # 2. 计算注意力权重: (Q @ K^T) / sqrt(d_k) -> [B, num_heads, T_q, T_kv]
        scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.head_dim)
        attn_weights = torch.softmax(scores, dim=-1)

        # 3. 聚合 Value 并拼接多头 -> [B, T_q, embed_dim]
        out = torch.matmul(attn_weights, V)  # [B, num_heads, T_q, head_dim]
        out = out.transpose(1, 2).contiguous().view(B, T_q, self.embed_dim)

        # 4. 最终投影
        return self.out_proj(out), attn_weights

if __name__ == "__main__":
    torch.manual_seed(42)

    # 模拟场景：
    # Batch_size = 2
    # 音频输入 (Q): 50 个时间步，特征维度 256
    # 视频输入 (KV): 16 帧画面，特征维度 512
    # 统一投影维度 embed_dim = 128, 4 个注意力头
    B = 2
    T_audio, D_audio = 50, 256
    T_video, D_video = 16, 512
    embed_dim = 128
    num_heads = 4

    audio_feat = torch.randn(B, T_audio, D_audio)
    video_feat = torch.randn(B, T_video, D_video)

    cross_attn = SimpleCrossAttention(
        d_model_q=D_audio, 
        d_model_kv=D_video, 
        embed_dim=embed_dim, 
        num_heads=num_heads
    )

    fused_out, weights = cross_attn(audio_feat, video_feat)

    print(f"音频输入形状: {audio_feat.shape}")
    print(f"视频输入形状: {video_feat.shape}")
    print(f"融合输出形状: {fused_out.shape}  <-- 长度与音频(50)完全一致！")
    print(f"注意力权重形状: {weights.shape} <-- [Batch, Heads, T_audio, T_video]")