每日基础课

想象你在看一本连环画： 第一张图是“一个人举起杯子”，第二张图是“杯子在嘴边”，第三张图是“杯子空了放在桌上”。 如果你把这三张图洗牌打乱，甚至直接把它们叠在一起取平均颜色，你只能看到一堆模糊的残影，根本不知道这是“喝水”还是“倒水”。 时序建模，就是把散落的照片按时间串起来，观察状态如何从上一秒变到下一秒。

必要公式（以最本质的离散因果时序转移为例）： $$h_t = f(h_{t-1}, x_t)$$

符号拆解： - $t$：当前时间步（比如当前视频帧，或当前 20ms 的音频切片）。 - $x_t$：当前时刻的输入特征（比如当前帧里提取的人脸或声音频谱）。 - $h_{t-1}$：过去所有历史信息的“记忆摘要”（上一时刻的状态）。 - $h_t$：融合了“过去记忆”和“眼前输入”后的当前新状态。 - $f(\cdot)$：时序建模的核心函数（它可以是 RNN、LSTM，也可以是加了因果掩码的 Transformer 或 TCN）。

它解决什么问题： 它解决“孤立特征无法表达动态演变”的问题。 没有时序建模会怎样： 1. 在视频理解中：模型分不清“坐下”和“起立”，因为这两者的单帧画面完全一样，唯一的差别是时间先后。 2. 在说话人日志（Diarization）中：模型无法判断何时“换人说话”，会把说话人的停顿误切成多段，或者把语调的连续起伏切碎。 3. 如果只用简单的平均池化（Bag-of-Frames），你得到的只是“场景背景板”，而不是“发生的事件”。

在实际音视频与说话人日志中的位置： 通常位于“特征提取器（Backbone）”之后，“任务输出头（Head）”之前。 例如：先用 2D CNN 或音频 WavLM 提取每一帧的局部特征向量 $[B, T, D]$，再塞给时序建模层（如 Conformer、Temporal Transformer 或 TCN），让每一帧都能结合前后文，最后输出动作分类或说话人换手切分点。

思路： 1. 构造一个轻量级的 `TemporalBlock`，包含一维时序卷积（捕捉相邻时间帧的声学过渡）和时序自注意力（捕捉全局长时依赖）。 2. 输入模拟序列 `[B, T, D]`，经过时序变换，维度保持不变。 3. 最后接一个线性分类头映射到类别数。

完整可运行代码如下：

import torch
import torch.nn as nn

class SimpleTemporalModel(nn.Module):
    def __init__(self, in_dim=64, hidden_dim=64, num_classes=2):
        super().__init__()
        # 1. 局部时序建模：1D 卷积，沿着时间轴滑动，padding=1 保持时间步不变
        self.conv1d = nn.Conv1d(
            in_channels=in_dim, 
            out_channels=hidden_dim, 
            kernel_size=3, 
            padding=1
        )
        self.relu = nn.ReLU()
        
        # 2. 全局时序建模：多头自注意力（在时间维度上做 Attention）
        self.temporal_attn = nn.MultiheadAttention(
            embed_dim=hidden_dim, 
            num_heads=4, 
            batch_first=True
        )
        self.layer_norm = nn.LayerNorm(hidden_dim)
        
        # 3. 帧级分类器：对每个时刻输出预测
        self.classifier = nn.Linear(hidden_dim, num_classes)

    def forward(self, x):
        # 输入 x 形状: [B, T, D]
        B, T, D = x.shape
        
        # Conv1d 期望输入: [B, Channel/Dim, Time]
        x_conv = x.transpose(1, 2)
        local_feat = self.relu(self.conv1d(x_conv))
        # 换回 [B, T, D] 给 Transformer/Attention
        local_feat = local_feat.transpose(1, 2)
        
        # 自注意力计算时间步之间的全局依赖
        attn_out, _ = self.temporal_attn(local_feat, local_feat, local_feat)
        feat = self.layer_norm(local_feat + attn_out)
        
        # 最终预测每个时刻的标签 [B, T, Num_Classes]
        logits = self.classifier(feat)
        return logits

# --- 验证测试 ---
if __name__ == "__main__":
    torch.manual_seed(42)
    
    # 模拟数据：2条音频片段，每条 50 帧，每帧特征维度 64
    batch_size = 2
    time_steps = 50
    feat_dim = 64
    dummy_input = torch.randn(batch_size, time_steps, feat_dim)
    
    model = SimpleTemporalModel(in_dim=feat_dim, hidden_dim=64, num_classes=2)
    model.eval()
    
    with torch.no_grad():
        output = model(dummy_input)
    
    print("=== 时序建模层测试成功 ===")
    print(f"输入形状:  {list(dummy_input.shape)} -> [Batch, Time_Steps, Channels]")
    print(f"输出形状:  {list(output.shape)} -> [Batch, Time_Steps, Num_Classes]")
    print(f"第0个样本前3帧的预测 logits:\n{output[0, :3, :]}")