每日基础课

一句话定义： 说话人识别（找人，1:N）与说话人确认（验人，1:1），就是把一段声音压缩成固定长度的“声音身份证”（Embedding 向量），再通过算向量夹角来判断说话人是谁或是否同人。

生活类比： 就像机场过闸机： - 说话人确认（1:1 Verification）：你刷身份证，摄像头看你一眼。系统只问一个问题：“你是不是这张身份证的主人？”（二分类问题：是 / 否） - 说话人识别（1:N Identification）：你在海关无感通行，摄像头抓拍你，在通缉犯全库里搜。“这人到底是谁？是张三、李四，还是不在库里？”（多分类或检索问题）

必要公式与符号解释： 给定两段语音提取出的特征向量（Embedding）$e_1$ 与 $e_2$（比如 192 维向量）： $$S(e_1, e_2) = \frac{e_1 \cdot e_2}{\|e_1\|_2 \|e_2\|_2}$$

• $e_1, e_2$：语音经过深度神经网络（如 ECAPA-TDNN）后输出的固定维度声纹向量。
• $\|e_1\|_2$：向量的 L2 模长。
• $S(e_1, e_2)$：余弦相似度，值域在 $[-1, 1]$ 之间。越接近 1，声音特征越像。
• 决策规则：若 $S(e_1, e_2) \ge \tau$（$\tau$ 为设定的相似度阈值），判定为“同一人”；否则判定为“不同人”。
• 核心评估指标（EER，等错误率）：当“把假人当真人的概率（误识率 FAR）”等于“把真人当假人的概率（拒真率 FRR）”时的错误率。EER 越低，模型越准。

它解决什么问题？没有它会怎样？ - 它解决“只认人，不认字”的问题。不管你说中文还是英文，感冒还是大喊，模型只抓取你声带和声道固有的声学特征。 - 没有它：智能音箱无法区分爸爸和小孩（无法做个性化推荐与儿童锁）；银行电话客服无法通过声音防伪身份；说话人日志（Diarization）无法把一整场会议切碎的几百个语音小片段聚类归纳出“发言人 A”和“发言人 B”。

好记口诀： 认人做多选（1:N），验人辨真伪（1:1）。 语音压成向量点，余弦卡阈定身份。

思路： 1. 构造 3 个说话人的特征底库（Gallery），并生成同人与异人的测试音频向量（Query）。 2. 使用 `torch.nn.functional.normalize` 做 L2 归一化，使得矩阵相乘直接等价于余弦相似度。 3. 实现 1:1 确认（验证余弦分是否大于阈值 $\tau$）和 1:N 识别（矩阵乘法计算与库中所有人相似度，取最大值的说话人 ID）。

import torch
import torch.nn.functional as F

def cosine_similarity(e1: torch.Tensor, e2: torch.Tensor) -> torch.Tensor:
    """
    计算两组 Embedding 之间的余弦相似度
    e1: shape [B, D] 或 [D]
    e2: shape [B, D] 或 [D]
    """
    e1_norm = F.normalize(e1, p=2, dim=-1)
    e2_norm = F.normalize(e2, p=2, dim=-1)
    return (e1_norm * e2_norm).sum(dim=-1)

def verify_speaker(query_emb: torch.Tensor, enrolled_emb: torch.Tensor, threshold: float = 0.75):
    """
    1:1 说话人确认 (Verification)
    """
    score = cosine_similarity(query_emb, enrolled_emb).item()
    is_same = score >= threshold
    return is_same, score

def identify_speaker(query_emb: torch.Tensor, gallery_embs: torch.Tensor, gallery_ids: list):
    """
    1:N 说话人识别 (Identification)
    query_emb: shape [1, D]
    gallery_embs: shape [N, D]
    """
    query_norm = F.normalize(query_emb, p=2, dim=-1)     # [1, D]
    gallery_norm = F.normalize(gallery_embs, p=2, dim=-1) # [N, D]
    
    # 矩阵乘法快速计算与底库中所有人的余弦相似度: [1, D] @ [D, N] -> [1, N]
    scores = torch.matmul(query_norm, gallery_norm.T).squeeze(0) # [N]
    best_idx = torch.argmax(scores).item()
    
    return gallery_ids[best_idx], scores[best_idx].item(), scores.tolist()

if __name__ == "__main__":
    torch.manual_seed(42)
    embedding_dim = 128
    
    # 1. 模拟 3 位说话人的声纹中心 (基底向量)
    spk_centers = torch.randn(3, embedding_dim)
    
    # 2. 为每位说话人加微小扰动，模拟同一人的不同录音
    # spk_0 的注册音频和测试音频
    spk0_enroll = spk_centers[0] + 0.1 * torch.randn(embedding_dim)
    spk0_test_same = spk_centers[0] + 0.1 * torch.randn(embedding_dim)
    # spk_1 的测试音频
    spk1_test_diff = spk_centers[1] + 0.1 * torch.randn(embedding_dim)
    
    print("=== 任务 1: 1:1 说话人确认 (Verification) ===")
    threshold = 0.70
    
    # 场景 A: 同一人比对
    same_result, same_score = verify_speaker(spk0_test_same, spk0_enroll, threshold=threshold)
    print(f"【同人比对】得分: {same_score:.4f} | 判定同人: {same_result} (阈值 {threshold})")
    
    # 场景 B: 异人比对
    diff_result, diff_score = verify_speaker(spk1_test_diff, spk0_enroll, threshold=threshold)
    print(f"【异人比对】得分: {diff_score:.4f} | 判定同人: {diff_result} (阈值 {threshold})")
    
    print("\n=== 任务 2: 1:N 说话人识别 (Identification) ===")
    gallery_embs = torch.stack([
        spk_centers[0] + 0.05 * torch.randn(embedding_dim),
        spk_centers[1] + 0.05 * torch.randn(embedding_dim),
        spk_centers[2] + 0.05 * torch.randn(embedding_dim)
    ])  # [3, 128]
    gallery_ids = ["Alice (spk_0)", "Bob (spk_1)", "Charlie (spk_2)"]
    
    # 输入一段未知音频（实际是 Alice 的另一段录音）
    unknown_audio_emb = (spk_centers[0] + 0.08 * torch.randn(embedding_dim)).unsqueeze(0) # [1, 128]
    pred_id, top_score, all_scores = identify_speaker(unknown_audio_emb, gallery_embs, gallery_ids)
    
    print(f"未知音频识别结果: {pred_id} | 相似度得分: {top_score:.4f}")
    for gid, sc in zip(gallery_ids, all_scores):
        print(f" - 与 {gid} 的相似度: {sc:.4f}")