每日基础课

一句话定义： 对比学习是一种让模型在特征空间中“拉近相似样本、推开不相似样本”的自监督表征学习方法。

生活类比： 就像你教小孩认人：不需要告诉他“这个人叫张三，身份证号是多少”，而是拿两张张三在不同光线、戴不戴眼镜的照片（正例对），告诉他“这是同一个人”；再拿一张李四的照片（负例对），告诉他“这不是同一个人”。反复看多了，小孩自然抓住了人脸的本质骨骼特征，学会了认人。

---

### 核心公式（InfoNCE 损失） $$ \mathcal{L} = -\log \frac{\exp(q \cdot k^+ / \tau)}{\exp(q \cdot k^+ / \tau) + \sum_{i=1}^{K} \exp(q \cdot k_i^- / \tau)} $$

符号拆解： - $q$ (Query)：当前样本提取出的特征向量（如：一段 2 秒的说话人语音）。 - $k^+$ (Positive Key)：与当前样本同一来源的特征向量（如：同一说话人在同一会话中另一段 2 秒的语音）。 - $k_i^-$ (Negative Keys)：与其他不同样本提取出的特征向量（如：其他说话人的语音片断）。 - $q \cdot k$：点积操作，表示特征之间的相似度（通常向量会先做 L2 归一化，点积即余弦相似度）。 - $\tau$ (Temperature，温度系数)：调节相似度平滑程度的超参数。$\tau$ 越小，模型对“极其相似但其实是负例”的困难样本惩罚越严厉。 - 本质：把“找正例”当成一道单选题，用标准 Softmax 交叉熵从包含 1 个正例和 $K$ 个负例的选项池中挑出正确答案。

---

### 它解决什么问题？没有它会怎样？ - 解决痛点：海量音视频和语音数据极难人工标注。标注 1000 小时的说话人日志（谁在什么时候说了什么）成本极高。 - 没有它会怎样： 1. 只能依赖有限的标签做有监督训练，遇到没见过的说话人或新场景直接失效； 2. 若用简单的“自编码重构”（生成原始波形/像素），模型会把大量算力浪费在背景白噪声、光影微变等无关细节上，学不到核心语义。

---

### 在音视频与说话人日志中的实际位置 1. 说话人日志（Speaker Diarization）：在提取 Speaker Embedding（如 ECAPA-TDNN 或 WavLM 阶段）时，同一说话人的不同切片作为正例，不同人的切片作为负例。聚类前表征空间分得越开，说话人错误率（DER）越低。 2. 音视频理解（Audio-Visual Alignment）：将视频帧序列（视觉流）和伴随音轨（音频流）进行跨模态对齐。 > 学习建议：若要上手音视频输入与模型调用，可参考 Hugging Face Multimodal Tasks 的视频任务指南；若要系统理解多模态表征对齐与 InfoNCE 的演进推导，推荐研读 Lil’Log：对比学习。

### 实现思路 1. 对 `queries` 和 `positives` 进行 L2 归一化，保证点积即余弦相似度。 2. 矩阵乘法计算相似度矩阵：`logits = (B, D) @ (D, B) -> (B, B)`。 3. 矩阵的对角线位置 `(i, i)` 就是 `queries[i]` 与 `positives[i]` 的正例相似度，非对角线位置自动充当负例（In-batch Negatives）。 4. 构造目标标签 `labels = [0, 1, ..., B-1]`，送入 `nn.CrossEntropyLoss` 计算。

import torch
import torch.nn as nn
import torch.nn.functional as F

class InfoNCELoss(nn.Module):
    def __init__(self, temperature: float = 0.07):
        super().__init__()
        self.temperature = temperature
        self.criterion = nn.CrossEntropyLoss()

    def forward(self, queries: torch.Tensor, positives: torch.Tensor) -> torch.Tensor:
        """
        queries: (Batch_Size, Dim) - 如当前批次说话人音频片段 A 的嵌入向量
        positives: (Batch_Size, Dim) - 如同一说话人音频片段 B 的嵌入向量
        """
        # 1. 特征归一化 (L2 Normalize)，保证模长为 1
        q_norm = F.normalize(queries, p=2, dim=-1)      # (B, D)
        k_norm = F.normalize(positives, p=2, dim=-1)    # (B, D)

        # 2. 计算余弦相似度矩阵，并缩放温度系数
        # (B, D) @ (D, B) -> (B, B)
        similarity_matrix = torch.matmul(q_norm, k_norm.T) / self.temperature

        # 3. 构造分类标签：对角线即正例索引 [0, 1, 2, ..., B-1]
        batch_size = queries.shape[0]
        labels = torch.arange(batch_size, device=queries.device)

        # 4. 交叉熵计算
        loss = self.criterion(similarity_matrix, labels)
        return loss

# ---------- 快速验证脚本 ----------
if __name__ == "__main__":
    torch.manual_seed(42)
    B, D = 4, 16  # Batch=4, 特征维度=16
    
    # 模拟说话人特征
    speaker_q = torch.randn(B, D)
    
    # 模拟相似正例（添加微小扰动）与不相似负例
    speaker_pos = speaker_q + torch.randn(B, D) * 0.1

    loss_fn = InfoNCELoss(temperature=0.1)
    loss = loss_fn(speaker_q, speaker_pos)

    print(f"输入特征维度: {speaker_q.shape}")
    print(f"InfoNCE Loss 计算结果: {loss.item():.4f}")
    assert not torch.isnan(loss), "Loss 计算出现 NaN，请检查实现！"
    print("验收通过！")