每日基础课

一句话定义： InfoNCE 是一种把“无监督对比”转化成“多选题”的损失函数，目的是把正样本对在空间中拉近，同时把大量负样本对推开。

生活类比：单选题考试 给你一道题（Query，锚点）。 选项 A 是正确答案（Positive，正样本）。 选项 B、C、D、E 都是干扰项（Negative，负样本）。 InfoNCE 就像评分官：它计算锚点和每个选项的“契合度”，然后用 Softmax 算概率，要求模型选出 A 的概率无限逼近 100%。

核心公式： $$\mathcal{L}_{\text{InfoNCE}} = - \log \frac{\exp(\text{sim}(q, k_+) / \tau)}{\exp(\text{sim}(q, k_+) / \tau) + \sum_{i=1}^{K} \exp(\text{sim}(q, k_i^-) / \tau)}$$

符号逐个拆解： - $q$（Query）：当前查询向量。例如：一段说话人音频的特征。 - $k_+$（Positive Key）：正样本特征。例如：同一个说话人的另一段音频，或对应的唇部画面特征。 - $k_i^-$（Negative Key）：第 $i$ 个负样本特征。例如：批次内其他说话人的音频特征。 - $\text{sim}(u, v)$：相似度函数。通常先做 L2 归一化，再算点积（即余弦相似度 $u^T v$）。 - $\tau$（Temperature，温度系数）：调节区分严厉程度的超参数。$\tau$ 越小，模型对“长得像的错误选项”（硬负样本）惩罚越重。 - 分子：正样本对的相似度得分。 - 分母：1 个正样本得分 + $K$ 个负样本得分的总和。

解决的问题与没有它的后果： - 解决什么：在没有人工标签的情况下，让模型自主学习“谁和谁是一类，谁和谁不是一类”的高质量特征。 - 没有它会怎样：模型特征容易发生“模式坍塌”（所有输入全输出一模一样的向量）；或者只能用每次看 1 个负样本的三元组损失，训练极慢且负样本挑选极痛苦。

在音视频与说话人日志中的实际位置： 1. 说话人日志：音频切分成小片段，同一说话人不同片段互为正样本，不同说话人互为负样本，用 InfoNCE 训练 Speaker Encoder 提取 d-vector/x-vector。 2. 音视频对齐：视频嘴唇特征与音频声音特征互为正样本，不同时间戳或其他视频片段为负样本，拉近音画同步特征。 *注：想了解多模态数据输入与预处理，推荐在 Hugging Face Multimodal Tasks 中查看标准流水线；想深入理解表征对齐的理论推导，可精读 Lil’Log：对比学习。*

实现思路： 1. 分别对特征 $A$ 和 $B$ 进行 L2 归一化，保证点积就是余弦相似度。 2. 矩阵相乘 `A @ B.T`，得到 `[batch_size, batch_size]` 的相似度矩阵。 3. 矩阵对角线上的元素即为正样本对（$A[i]$ 与 $B[i]$ 一一对应），非对角线为负样本。 4. 相似度除以温度 $\tau$，目标标签即为 `[0, 1, 2, ..., batch_size-1]`，直接使用 `F.cross_entropy` 计算双向对称损失。

完整可运行代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

def info_nce_loss(features_a: torch.Tensor, features_b: torch.Tensor, tau: float = 0.07) -> torch.Tensor:
    """
    计算双向对称 InfoNCE 损失 (如音频特征与视频特征对齐)
    Args:
        features_a: 模态A特征，形状 [batch_size, dim]
        features_b: 模态B特征，形状 [batch_size, dim]
        tau: 温度系数
    Returns:
        标量损失
    """
    # 1. 特征 L2 归一化
    norm_a = F.normalize(features_a, dim=-1)
    norm_b = F.normalize(features_b, dim=-1)
    
    # 2. 计算相似度矩阵 [batch_size, batch_size]
    # logits[i, j] 表示 a_i 与 b_j 的余弦相似度除以 tau
    logits_a2b = torch.matmul(norm_a, norm_b.T) / tau
    logits_b2a = logits_a2b.T
    
    # 3. 构建正样本标签: 对角线位置 (0, 1, 2, ..., B-1)
    batch_size = features_a.shape[0]
    labels = torch.arange(batch_size, device=features_a.device)
    
    # 4. 双向交叉熵求平均
    loss_a2b = F.cross_entropy(logits_a2b, labels)
    loss_b2a = F.cross_entropy(logits_b2a, labels)
    
    return (loss_a2b + loss_b2a) / 2.0

# --- 验证运行 ---
if __name__ == "__main__":
    torch.manual_seed(42)
    
    # 模拟 Batch=4，特征维度=128（例如 4 段说话人的音频 embedding 与嘴部视频 embedding）
    audio_emb = torch.randn(4, 128, requires_grad=True)
    video_emb = torch.randn(4, 128, requires_grad=True)
    
    loss = info_nce_loss(audio_emb, video_emb, tau=0.07)
    print(f"计算出的 InfoNCE Loss: {loss.item():.4f}")
    
    # 验证反向传播
    loss.backward()
    print(f"梯度检查 (audio_emb.grad is not None): {audio_emb.grad is not None}")
    assert not torch.isnan(loss), "Loss 计算出现 NaN！"
    print("验收通过！")