每日基础课

一句话定义：把不同形式的数据（如声音波形、视频画面、文字），映射到同一个数学空间里，让“含义相同”的向量彼此靠近，“含义不同”的向量彼此远离。

生活类比： 跨模态对齐就像“联合国同声传译”。 中国代表说中文，法国代表说法语。虽然发音、语调、语法完全不同（相当于音频波形和视频像素），但同传译员把它们翻译成了同一套含义（共享向量空间）。只要表达的是同一个意思，它们在含义空间里的坐标就是重合的。

核心公式（最经典的对比对齐损失 InfoNCE）： $$\mathcal{L}_{A \to V} = - \log \frac{\exp(\text{sim}(a_i, v_i) / \tau)}{\sum_{j=1}^{B} \exp(\text{sim}(a_i, v_j) / \tau)}$$

符号逐个拆解： - $a_i$：第 $i$ 个音频片段提取出的特征向量。 - $v_i$：与第 $i$ 个音频同一时刻拍摄的视频画面特征向量（这就是正样本对）。 - $v_j$：批次内其他不相关的视频片段（这些是负样本）。 - $\text{sim}(a, v)$：相似度计算，通常用归一化后的点积（即余弦相似度）。 - $\tau$：温度系数（Temperature），用来控制模型对“相似度差异”的敏感度。 - $B$：一个批次（Batch）里的样本数量。

它解决什么问题？没有它会怎样？ - 解决的问题：音频是 1D 连续振动波形，视频是 2D/3D 离散像素网格。原始数字根本没有可比性。对齐让“狗叫声”和“狗张嘴的画面”在数学上可以直接算距离。 - 没有它会怎样：模型无法把听到的声音和看到的动作挂钩。在说话人日志（Diarization）中，当两个声音重叠时，模型无法判断“这串声音到底来自画面里张嘴的张三，还是闭嘴的李四”。

推荐学习资料： 想深入理解对比损失和数学推导，推荐看 *Lil’Log：对比学习*；想看实际音视频特征在代码层如何输入与预处理，推荐查阅 *Hugging Face Multimodal Tasks*。

实现思路： 1. 分别定义音频投影头（Audio Projection Head）和视频投影头（Video Projection Head），将不同模态的特征映射到相同的维度 $D$。 2. 对映射后的特征做 L2 归一化，确保点积等价于余弦相似度。 3. 计算音频与视频的相似度矩阵（维度为 $B \times B$），对角线即为正样本对。 4. 分别以音频找视频（Audio-to-Video）、视频找音频（Video-to-Audio）计算交叉熵损失，最后取均值。

完整可运行代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

class CrossModalAlignmentLoss(nn.Module):
    def __init__(self, audio_dim=128, video_dim=512, embed_dim=256, temperature=0.07):
        super().__init__()
        # 1. 投影头：把不同维度的音频和视频特征投影到同一共享空间
        self.audio_proj = nn.Linear(audio_dim, embed_dim, bias=False)
        self.video_proj = nn.Linear(video_dim, embed_dim, bias=False)
        self.temperature = temperature

    def forward(self, audio_feat, video_feat):
        """
        audio_feat: [Batch, audio_dim] (例如音频前端提出来的声学特征)
        video_feat: [Batch, video_dim] (例如视觉前端提出来的唇动/画面特征)
        """
        # 2. 投影到共享嵌入空间
        a_emb = self.audio_proj(audio_feat)  # [B, embed_dim]
        v_emb = self.video_proj(video_feat)  # [B, embed_dim]

        # 3. L2 归一化 (计算余弦相似度的关键一步)
        a_emb = F.normalize(a_emb, p=2, dim=-1)
        v_emb = F.normalize(v_emb, p=2, dim=-1)

        # 4. 计算音视频相似度矩阵，并缩放温度
        # logits[i, j] 表示第 i 个音频与第 j 个视频的相似度
        logits = torch.matmul(a_emb, v_emb.T) / self.temperature  # [B, B]

        # 5. 生成对角线标签：第 i 个音频的正样本就是第 i 个视频
        batch_size = audio_feat.shape[0]
        labels = torch.arange(batch_size, device=audio_feat.device)

        # 6. 计算双向对比损失 (Audio->Video 和 Video->Audio)
        loss_a2v = F.cross_entropy(logits, labels)
        loss_v2a = F.cross_entropy(logits.T, labels)
        total_loss = (loss_a2v + loss_v2a) / 2.0

        return total_loss, logits * self.temperature

# --- 验证测试 ---
if __name__ == "__main__":
    torch.manual_seed(42)
    B = 4  # 批大小
    
    # 模拟输入数据
    dummy_audio = torch.randn(B, 128)  # 假定音频特征维度 128
    dummy_video = torch.randn(B, 512)  # 假定视频特征维度 512

    # 初始化对齐模块
    align_module = CrossModalAlignmentLoss(audio_dim=128, video_dim=512, embed_dim=256)
    
    # 计算损失和未缩放的余弦相似度矩阵
    loss, sim_matrix = align_module(dummy_audio, dummy_video)

    print(f"Alignment Loss: {loss.item():.4f}")
    print("Cosine Similarity Matrix (对角线为匹配的正样本对):\n", sim_matrix.detach().numpy())
    
    # 验证对角线是否为当前行最大值（未训练前是随机分布）
    print("正样本对相似度:", torch.diag(sim_matrix).detach().numpy())