每日基础课

一句话定义：说话人变化检测（Speaker Change Detection，简称 SCD）就是在一段音频中，精准找出“换人说话”的那一瞬间（时间戳）。

生活类比： 想象你在听一段没有画面的双人相声录音。你拿着一把剪刀，每当听到逗哏说完、捧哏刚接话的那个交接点，你就“咔嚓”剪一刀。SCD 做的事，就是自动帮你在这盘长胶带上标记所有该剪开的位置。

必要公式： 最基础的神经网络 SCD 通常被建模为逐帧二分类问题： $$\hat{y}_t = \sigma(f_\theta(X)_t)$$

符号解释： - $X$：输入的连续音频特征（比如 Fbank 或梅尔频谱，形状为帧数 $\times$ 特征维度）。 - $f_\theta(\cdot)$：带参数 $\theta$ 的神经网络（如 1D-CNN、BiLSTM 或 Conformer）。 - $t$：当前时间帧的索引。 - $\sigma(\cdot)$：Sigmoid 激活函数，把输出压缩到 $0 \sim 1$ 之间。 - $\hat{y}_t$：在第 $t$ 帧发生“说话人切换”的概率。如果 $\hat{y}_t > \tau$（设定的阈值），系统就认为这里换人了。

它解决什么问题？没有它会怎样？ - 解决的问题：长音频不能直接一口气提取说话人特征（Embedding），必须切成“单人单句”。SCD 负责把多说话人长音频切成同质的纯净小段。 - 没有它会怎样：如果把张三和李四连在一起的话切成一段，提取出来的声纹特征就是两人的“混合怪”，后续的聚类算法会彻底崩溃，导致说话人日志（Diarization）把两个人认成第三个人。

在主流模型与流水线中的实际位置： 在说话人日志系统中，经典流程是：`VAD（滤除静音）` $\to$ `SCD（切分同质片段）` $\to$ `Embedding 提取（提取声纹）` $\to$ `Clustering（聚类）`。在现代端到端工具（如 pyannote.audio）中，SCD 常与语音活动检测（VAD）、重叠检测（Overlap Detection）合并为一个统一的“神经网络分割（Segmentation）”模块输出。

思路说明： 1. 构造数据：模拟生成一批特征序列（Batch, 帧数, 特征维度），并构造标签（绝大部分帧为 0，切换点附近为 1）。 2. 搭建网络：用 1D-CNN 提取局部声学差异，接双向 GRU 捕获上下文时序依赖，最后通过全连接层输出每帧的切换概率。 3. 后处理检测：对网络输出概率进行阈值过滤和局部极大值抑制（寻找波峰），定位变化时间戳。

完整可运行代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

# 1. 定义轻量级 SCD 模型
class LightweightSCD(nn.Module):
    def __init__(self, input_dim=40, hidden_dim=64):
        super().__init__()
        # 1D-CNN 提取局部声学特征 (输入: B, C_in, T)
        self.conv = nn.Sequential(
            nn.Conv1d(input_dim, 32, kernel_size=5, padding=2),
            nn.BatchNorm1d(32),
            nn.ReLU(),
            nn.Conv1d(32, 64, kernel_size=3, padding=1),
            nn.BatchNorm1d(64),
            nn.ReLU()
        )
        # 双向 GRU 捕获前后文切换时序
        self.gru = nn.GRU(
            input_size=64,
            hidden_size=hidden_dim,
            num_layers=1,
            batch_first=True,
            bidirectional=True
        )
        # 输出层：映射到二分类（是否切换点）
        self.classifier = nn.Linear(hidden_dim * 2, 1)

    def forward(self, x):
        # x 形状: (Batch, Frames, Dim) -> 转为 Conv1d 要求的 (Batch, Dim, Frames)
        x = x.transpose(1, 2)
        feat = self.conv(x)
        feat = feat.transpose(1, 2) # 转回 (Batch, Frames, Channels)
        
        gru_out, _ = self.gru(feat) # (Batch, Frames, hidden_dim * 2)
        logits = self.classifier(gru_out).squeeze(-1) # (Batch, Frames)
        return logits

# 2. 模拟训练与推理验证
if __name__ == "__main__":
    torch.manual_seed(42)
    B, T, D = 2, 200, 40 # 2条音频，每条200帧（约2秒），40维Fbank
    
    # 模拟输入音频特征
    fake_audio_features = torch.randn(B, T, D)
    
    # 模拟真实标签：假设在第 50 帧和第 130 帧发生说话人切换
    targets = torch.zeros(B, T)
    targets[:, [50, 130]] = 1.0 
    
    # 初始化模型与损失函数
    model = LightweightSCD(input_dim=D)
    # 由于换人帧极少，使用 pos_weight 平衡正负样本权重
    pos_weight = torch.tensor([10.0])
    criterion = nn.BCEWithLogitsLoss(pos_weight=pos_weight)
    
    # 前向传播
    logits = model(fake_audio_features)
    loss = criterion(logits, targets)
    
    print(f"1. 前向计算成功，Loss: {loss.item():.4f}")
    print(f"   Logits 形状: {logits.shape} (预期: [{B}, {T}])")

    # 3. 推理阶段：波峰检测（寻找说话人切换时间点）
    model.eval()
    with torch.no_grad():
        probs = torch.sigmoid(logits[0]) # 取第一条样本的概率曲线
        threshold = 0.5
        
        # 简单峰值检测：大于阈值且高于左右相邻帧
        change_points = []
        for t in range(1, T - 1):
            if probs[t] > threshold and probs[t] > probs[t-1] and probs[t] > probs[t+1]:
                change_points.append(t)
                
    print(f"2. 检测到的说话人切换帧索引: {change_points}")
    print("验收标准通过：模型结构、损失计算、张量流转与切分逻辑均正常！")