每日基础课

一句话定义： InfoNCE 是一种让模型做“多选一选择题”的无监督损失函数，它的目标是让匹配的样本相似度最高，不匹配的样本相似度尽可能低。

一句记忆口诀： “分子拉近正样本，分母推开全负本，除以温度调难度，本质就是交叉熵。”

---

### 1. 生活类比：做单选题 想象你在做一个“声纹匹配”的单选题： - 题干（Query）：播放一段 3 秒的说话人 A 的音频。 - 正确选项（Positive Key）：说话人 A 在另一时间说的 3 秒音频。 - 干扰选项（Negative Keys）：其他 99 个不同人说的音频。 - 你的任务：计算题干和每个选项的相似度，选出最像的那一个。

InfoNCE 损失计算的就是：当你把正确答案选出来的概率越大，损失就越小；如果选错了，就狠罚模型。

---

### 2. 核心公式与符号拆解 公式其实非常短：

$$\mathcal{L}_{\text{InfoNCE}} = - \log \frac{\exp(\text{sim}(q, k^+) / \tau)}{\exp(\text{sim}(q, k^+) / \tau) + \sum_{i=1}^{K} \exp(\text{sim}(q, k^-_i) / \tau)}$$

逐个看符号： - $q$（Query，查询向量）：当前处理的锚点特征。例如视频里人物嘴唇说话的视觉特征，或者当前说话人的一段声纹嵌入。 - $k^+$（Positive Key，正样本）：跟 $q$ 真正匹配的特征。比如同一时刻该人物嘴里发出的对应音频特征，或者同一说话人的另一段录音。 - $k^-_i$（Negative Key，负样本）：不匹配的干扰特征。比如其他时间段的声音、其他说话人的声纹。一共有 $K$ 个负样本。 - $\text{sim}(u, v)$：相似度度量，通常直接用向量的点积或余弦相似度（Cosine Similarity）。向量方向越接近，值越大。 - $\tau$（Temperature，温度系数）：一个超参数（如 0.07）。它用来缩放相似度，控制模型对“困难干扰项”的敏感度。$\tau$ 越小，概率分布越尖锐，模型越专注于惩罚最像正样本的硬负样本。 - $\exp(\cdot)$ 和分母求和：这就是经典的 Softmax 归一化。把所有相似度变成概率分布。

---

### 3. 它解决什么问题？没有它会怎样？ - 解决的问题：在音视频或说话人日志任务中，海量数据根本没有人工打好的标签（不知道是谁说的、不知道音视频每一秒的具体字词）。InfoNCE 允许模型通过“自身的不同切片”或者“同时发生的音视频流”自我监督，学出有意义的特征表示。 - 没有它会怎样（模式坍塌）：如果你直接让网络把同类拉近（比如最小化欧氏距离），神经网络会投机取巧：直接让所有输入的输出向量全变成 `[0, 0, 0, ...]`！距离是 0，损失为 0，模型彻底学废。InfoNCE 的分母强制引入了大量负样本，把不同样本用力推开，彻底避免了这种“表示坍塌（Collapse）”。

---

### 4. 在音视频与说话人日志中的真实用法 - 音视频对齐：视频帧与音轨同步。视频片段作 $q$，同期音频作 $k^+$，其他视频的音频作 $k^-$。学完后，声音和嘴型就自动对齐了。想了解跨模态表征对齐的完整逻辑，可以研读 [Lil’Log：对比学习]。在工程落地时，如何把视频抽帧并送入模型，推荐参考 [Hugging Face Multimodal Tasks] 的官方流程。 - 说话人日志（Diarization）：切片聚类前需要声纹抽取器（Speaker Embedding Extractor）。同一说话人的两段语音互为正样本，同一批次（Batch）内其他人的语音作为负样本，直接用 InfoNCE 训练。训练出的嵌入空间里，同一个人的声音自然聚成一团，后续聚类算法（如 Spectral Clustering）就能轻松切分发言人。

### 实现思路 1. L2 归一化：先把两组向量在特征维度做归一化，这样点积就等于余弦相似度。 2. 点积相似度矩阵：通过矩阵乘法 `q @ k.T`，直接算出大小为 `(Batch_Size, Batch_Size)` 的相似度矩阵。 3. 目标标签：矩阵对角线上的位置（第 $i$ 个音频对第 $i$ 个视频）就是真正的正样本对。因此标签就是 `[0, 1, 2, ..., Batch_Size - 1]`。 4. 损失计算：直接调用 PyTorch 自带的 `F.cross_entropy` 计算行方向和列方向的损失。

### 完整可运行代码

import torch
import torch.nn as nn
import torch.nn.functional as F

class InfoNCELoss(nn.Module):
    def __init__(self, temperature: float = 0.07):
        super().__init__()
        self.temperature = temperature

    def forward(self, feats_a: torch.Tensor, feats_b: torch.Tensor) -> torch.Tensor:
        """
        feats_a: 模态A或声纹切片1, 形状: (B, D)
        feats_b: 模态B或声纹切片2, 形状: (B, D)
        B: Batch Size (批大小)
        D: Feature Dimension (特征维度)
        """
        # 1. 特征归一化 (L2 Normalize)，确保点积等价于余弦相似度，数值落在 [-1, 1]
        feats_a = F.normalize(feats_a, dim=-1)
        feats_b = F.normalize(feats_b, dim=-1)

        # 2. 矩阵乘法计算相似度矩阵: (B, D) @ (D, B) -> (B, B)
        # 再除以温度超参数 tau
        logits = torch.matmul(feats_a, feats_b.T) / self.temperature

        # 3. 构造正样本标签: 对角线元素 [0, 1, 2, ..., B-1] 就是对应的配对项
        batch_size = feats_a.shape[0]
        labels = torch.arange(batch_size, device=feats_a.device)

        # 4. 计算对称交叉熵损失 (A对B，以及 B对A)
        loss_a = F.cross_entropy(logits, labels)
        loss_b = F.cross_entropy(logits.T, labels)

        return (loss_a + loss_b) / 2.0


if __name__ == "__main__":
    # 模拟场景：批大小 B=4，每个音频/说话人特征向量维度 D=128
    torch.manual_seed(42)
    B, D = 4, 128
    
    # 假设 query_audio 是 4 个人的一段音频特征
    query_audio = torch.randn(B, D)
    # 正确匹配的视频特征 (在真实情况里，配对样本相似度更高，我们加一点微扰模拟相似)
    key_video = query_audio + 0.1 * torch.randn(B, D)

    # 实例化并计算损失
    criterion = InfoNCELoss(temperature=0.07)
    loss = criterion(query_audio, key_video)

    print(f"InfoNCE Loss 结果: {loss.item():.4f}")
    assert not torch.isnan(loss), "Loss 不能为 NaN"
    print("代码自检通过！")