每日基础课

1. 生活类比 把它想象成“声音的数字身份证 / 指纹编码”。 一个人无论是在大声喊叫、小声耳语，还是在说中文、念英文，指纹的纹路都是不变的。说话人嵌入就是模型提取出来的“声音指纹”：即使你说的话每秒都在变，提出来的这个向量数值在几何空间里始终指向你。

2. 核心公式与符号拆解 说话人嵌入的提取与比对主要包含两步：

① 提取嵌入向量： $$\mathbf{e} = f_\theta(\mathbf{X})$$ - $\mathbf{X} \in \mathbb{R}^{T \times F}$：输入的声学特征（例如 F 维的梅尔频谱，共 T 帧时间步长，T 随语音长短变化）。 - $f_\theta$：说话人编码器神经网络（内部包含时序池化层，负责把变长的 T 压缩为固定长度）。 - $\mathbf{e} \in \mathbb{R}^{D}$：提取出来的说话人嵌入向量（D 为固定维度，比如 192 或 512）。

② 判定是否为同一人（余弦相似度）： $$\text{sim}(\mathbf{e}_1, \mathbf{e}_2) = \frac{\mathbf{e}_1 \cdot \mathbf{e}_2}{\|\mathbf{e}_1\| \|\mathbf{e}_2\|}$$ - $\mathbf{e}_1, \mathbf{e}_2$：两段不同语音提取出来的嵌入向量。 - $\text{sim}(\mathbf{e}_1, \mathbf{e}_2)$：计算两者的夹角余弦。结果越接近 1，说明是同一个人的概率极高；接近 0 或负数，说明是不同人。

• 解决什么问题？没有它会怎样？
• 解决的问题：音频时长千差万别，人类说的话千奇百怪，计算机无法直接比对两段原始波形来判断说话人身份。说话人嵌入将“身份判定”转化为“高维向量之间的距离计算”。
• 没有它会怎样：
• 说话人日志（Who spoke when）无法将切片音频聚类分段。
• 智能音箱无法区分家庭成员权限。
• 音视频分析无法把画面中的人脸与音轨中的声音正确关联。

4. 在实际系统中的位置 在说话人日志（Diarization）标准流水线中，位置如下： 输入长音频 → 语音活动检测 (VAD) 截掉静音 → 滑动窗口切成小段语音 → 提取说话人嵌入 (Speaker Embedding) → 对嵌入向量进行聚类 (Spectral Clustering / AHC) → 输出“谁在几分几秒说了话”。 学习表征训练配方可参考 SpeechBrain Speaker Recognition Recipes；理解音频特征提取基底可参考 Hugging Face Audio Course。

核心思路： 1. 用 1D 卷积沿时间轴抽取局部声学特征。 2. 用统计池化（Mean + Std Pooling）在时间轴上求均值和方差，把可变时间长度 $T$ 坍缩为固定长度 $1$。 3. 线性层降维输出 192 维的 Embedding，并做 L2 归一化。

完整可运行代码如下：

import torch
import torch.nn as nn
import torch.nn.functional as F

class SimpleSpeakerEncoder(nn.Module):
    def __init__(self, in_features=80, embedding_dim=192):
        super().__init__()
        # 1. 模拟帧级特征提取（类似 TDNN / 1D-CNN）
        self.conv1 = nn.Conv1d(in_channels=in_features, out_channels=128, kernel_size=3, padding=1)
        self.relu1 = nn.ReLU()
        self.conv2 = nn.Conv1d(in_channels=128, out_channels=256, kernel_size=3, padding=1)
        self.relu2 = nn.ReLU()

        # 2. 统计池化层：将 256 维特征的均值 (256) 和标准差 (256) 拼接 -> 512 维
        # 3. 线性投影层：将 512 维映射到固定的 speaker embedding 维度
        self.fc = nn.Linear(256 * 2, embedding_dim)

    def forward(self, x):
        # x 形状: (Batch, in_features, Time)
        h = self.relu1(self.conv1(x))
        h = self.relu2(self.conv2(h)) # (Batch, 256, Time)

        # 统计池化：沿时间轴（dim=2）计算均值和标准差
        mean = torch.mean(h, dim=2) # (Batch, 256)
        std = torch.std(h, dim=2)   # (Batch, 256)
        stats = torch.cat([mean, std], dim=1) # (Batch, 512)

        # 映射到定长向量
        emb = self.fc(stats) # (Batch, embedding_dim)

        # L2 归一化，方便直接做点积计算余弦相似度
        emb = F.normalize(emb, p=2, dim=1)
        return emb

# ================= 验证运行 =================
if __name__ == "__main__":
    torch.manual_seed(42)
    encoder = SimpleSpeakerEncoder(in_features=80, embedding_dim=192)
    encoder.eval()

    # 模拟 3 段音频的 80 维梅尔频谱：
    # audio1: 说话人 A 的一段 300 帧音频 (约 3 秒)
    # audio2: 说话人 A 的另一段 500 帧音频 (约 5 秒，带轻微噪声)
    # audio3: 说话人 B 的一段 400 帧音频 (完全不同的数据分布)
    base_voice_A = torch.randn(1, 80, 1)
    audio1 = base_voice_A.repeat(1, 1, 300) + torch.randn(1, 80, 300) * 0.1
    audio2 = base_voice_A.repeat(1, 1, 500) + torch.randn(1, 80, 500) * 0.1

    base_voice_B = torch.randn(1, 80, 1) + 5.0 # 人工拉开说话人B的基底
    audio3 = base_voice_B.repeat(1, 1, 400) + torch.randn(1, 80, 400) * 0.1

    # 提取说话人嵌入
    with torch.no_grad():
        emb1 = encoder(audio1) # (1, 192)
        emb2 = encoder(audio2) # (1, 192)
        emb3 = encoder(audio3) # (1, 192)

    # 打印输出维度验证
    print("----- 维度验证 -----")
    print(f"输入时长各不相同: 300帧, 500帧, 400帧")
    print(f"输出嵌入向量维度: emb1={list(emb1.shape)}, emb2={list(emb2.shape)}, emb3={list(emb3.shape)}")

    # 计算相似度（因为已经做了 L2 normalize，点积即余弦相似度）
    sim_same_speaker = torch.sum(emb1 * emb2).item()
    sim_diff_speaker = torch.sum(emb1 * emb3).item()

    print("\n----- 余弦相似度比对 -----")
    print(f"同一个人（不同时长、带噪声）的相似度: {sim_same_speaker:.4f}")
    print(f"不同人之间的相似度:                   {sim_diff_speaker:.4f}")