每日基础课

一句话定义：Active Speaker Detection（活跃说话人检测，简称 ASD）是指在一段多模态视频中，定位并判断“哪个人脸在当前时刻正在开口发声”。

生活类比： 想象你在嘈杂的聚餐现场拍视频。画面里有四个人：甲在说话，乙在吃汉堡动嘴，丙在默默点头，丁被别人挡住了半张脸。纯听声音，你分不清是甲还是乙在说；只看静止画面，吃汉堡的乙看起来也在“张嘴”。ASD 就像一个细心的观察员，一边听声音的节奏，一边看谁的嘴唇变化节拍与声音完全吻合，从而精准抓出正在说话的甲。

核心公式： $$P(\text{active}_i^t) = \sigma\Big(f_{\text{cls}}\big(\text{Fuse}(v_i^t, a^t)\big)\Big)$$

符号解释： - $v_i^t$：时刻 $t$ 第 $i$ 个人脸（主要是唇部区域）的时序视觉特征向量。 - $a^t$：时刻 $t$ 对应的短时音频特征（如 Log-Mel 频谱图提取的特征）。 - $\text{Fuse}(\cdot)$：跨模态融合模块，用于捕捉音视频在时间轴上的相关性和同步性。 - $f_{\text{cls}}$：分类网络（通常是几层全连接或小型时序网络）。 - $\sigma$：Sigmoid 激活函数，输出 0 到 1 之间的概率值。大于阈值（如 0.5）即判定为正在发声。

它解决什么问题？没有它会怎样？ - 解决问题：在多人画面和嘈杂音频交织时，把声音精准绑定到具体的发声人身上。 - 没有它： 1. 视频会议系统（如 Zoom/腾讯会议）无法自动把主特写镜头切给真正发言的人。 2. 说话人日志（Diarization）遇到多人同时说话或回声干扰时，纯靠声音聚类极易把说话人身份搞混。 3. 自动剪辑工具无法把字幕准确贴到说话人的头顶。

实现思路： 1. 音频流与视觉流投影：分别用一维卷积/全连接将音频特征与视觉特征映射到相同的隐藏维度。 2. 跨模态特征融合：计算音视频特征在时序上的逐点交互（点积或拼接），提取时序同步相关性。 3. 时序分类头：经过简单的线性层输出每一帧的二分类 Logits，经 Sigmoid 得到 0~1 的活跃概率。

完整可运行代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

class ToyASDModel(nn.Module):
    def __init__(self, visual_dim=128, audio_dim=64, hidden_dim=64):
        super().__init__()
        # 1. 视觉特征与音频特征的线性投影层
        self.v_proj = nn.Linear(visual_dim, hidden_dim)
        self.a_proj = nn.Linear(audio_dim, hidden_dim)
        
        # 2. 跨模态时序融合 (这里采用双向 GRU 捕获音视频联合上下文)
        # 输入维度为 hidden_dim * 2 (音视频拼接特征)
        self.fusion_gru = nn.GRU(
            input_size=hidden_dim * 2,
            hidden_size=hidden_dim,
            batch_first=True,
            bidirectional=True
        )
        
        # 3. 逐帧二分类器 (输出正在说话的概率)
        self.classifier = nn.Linear(hidden_dim * 2, 1)

    def forward(self, visual_feat, audio_feat):
        """
        visual_feat: (Batch, Frames, visual_dim) -> 唇部时序特征
        audio_feat:  (Batch, Frames, audio_dim)  -> 音频时序特征
        """
        # 特征投影对齐维度
        v_h = F.relu(self.v_proj(visual_feat)) # (B, T, hidden_dim)
        a_h = F.relu(self.a_proj(audio_feat))  # (B, T, hidden_dim)
        
        # 特征拼接: (B, T, hidden_dim * 2)
        va_concat = torch.cat([v_h, a_h], dim=-1)
        
        # 时序上下文交互
        gru_out, _ = self.fusion_gru(va_concat) # (B, T, hidden_dim * 2)
        
        # 逐帧输出分类得分并过 Sigmoid
        logits = self.classifier(gru_out).squeeze(-1) # (B, T)
        probs = torch.sigmoid(logits)
        return probs

# --- 测试与验证 ---
if __name__ == "__main__":
    torch.manual_seed(42)
    
    batch_size = 2   # 比如视频里检测到 2 个人脸轨迹
    seq_len = 25     # 1 秒视频（假设 25 fps，共 25 帧）
    v_dim = 128      # 视觉预训练模型输出特征维度
    a_dim = 64       # 音频 Mel 谱提取特征维度
    
    # 模拟输入数据
    dummy_visual = torch.randn(batch_size, seq_len, v_dim)
    dummy_audio = torch.randn(batch_size, seq_len, a_dim)
    
    # 模拟标签：0 代表未说话，1 代表正在说话
    dummy_labels = torch.randint(0, 2, (batch_size, seq_len)).float()
    
    # 初始化模型
    model = ToyASDModel(visual_dim=v_dim, audio_dim=a_dim, hidden_dim=64)
    
    # 前向传播
    pred_probs = model(dummy_visual, dummy_audio)
    
    # 计算二值交叉熵损失
    criterion = nn.BCELoss()
    loss = criterion(pred_probs, dummy_labels)
    
    print("=== ASD 最小原型运行成功 ===")
    print(f"输入视觉张量形状 : {dummy_visual.shape}")
    print(f"输入音频张量形状 : {dummy_audio.shape}")
    print(f"输出活跃概率形状 : {pred_probs.shape} (范围: [{pred_probs.min():.2f}, {pred_probs.max():.2f}])")
    print(f"计算所得单步 Loss: {loss.item():.4f}")