每日基础课

1. 生活类比：做一道“音视频双拼菜” 假设你想用“声音（鱼）”和“画面（肉）”做一道菜： - 早期融合（Early Fusion）：生鱼和生肉一上来就直接剁碎混成肉馅，然后丢进一个锅里煮。优点是火候完全同步；缺点是鱼肉和猪肉生熟度不同、质地不同，生硬剁在一起容易破坏各自独特的口感（采样率不同、特征尺度不一时很难直接对齐）。 - 晚期融合（Late Fusion）：鱼单独做成清蒸鱼，肉单独做成红烧肉。两位厨师各自打分，最后你把两个分数按 6:4 加权平均。优点是互不干扰、极其稳定；缺点是鱼和肉在做菜过程中毫无交流，做不出“鱼肉复合鲜味”（完全失去了音视频细粒度的时序互动）。 - 中间融合（Intermediate Fusion）：鱼和肉先各自煎到半熟（提取各自的浅层特征），然后把鱼汤浇到肉上、肉汁淋回鱼上，用交叉火候反复入味（通过 Cross-Attention 交互），最后统一出锅。这是现代模型最常用的方式。

2. 核心公式与符号拆解 假设音频输入为 $x_a$，视频输入为 $x_v$，分类预测结果为 $y$。

- 早期融合公式： $$y = F([x_a ; x_v])$$ - $[x_a ; x_v]$：在输入维度将音频和视频数据直接拼接（Concatenate）。 - $F(\cdot)$：一个统一的主干网络，直接吞入拼接后的多模态原始输入并输出预测值。

- 晚期融合公式： $$y = \alpha \cdot \text{Softmax}(M_a(x_a)) + (1 - \alpha) \cdot \text{Softmax}(M_v(x_v))$$ - $M_a(\cdot), M_v(\cdot)$：各自独立的音频分支与视频分支，独立输出预测分数（Logits）。 - $\alpha$：融合权重系数（通常在 0 到 1 之间）。最终结果是两个独立分数的加权和。

- 中间融合公式（特征级交互）： $$h_a = E_a(x_a), \quad h_v = E_v(x_v)$$ $$h_{fuse} = \text{CrossAttention}(h_a, h_v)$$ $$y = \text{Classifier}(h_{fuse})$$ - $E_a, E_v$：音频和视频各自的单模态编码器（如音频用 WavLM，视频用 Video-Swin）。 - $h_a, h_v$：提取出的中间隐藏层特征向量。 - $\text{CrossAttention}(\cdot)$：交叉注意力层，让声音特征去视频特征里“查字典”，找到对齐的人脸与唇形。 - $\text{Classifier}(\cdot)$：下游任务分类头。

3. 它解决什么问题？没有它会怎样？ 它解决的是“多感官信息如何协同判断”的问题。 如果没有融合机制，你只能退化为单模态处理： - 只有音频：遇到背景噪音大、多人同时说话时，说话人识别直接崩溃。 - 只有视频：遇到人物背对镜头、光线变暗或者假唱嘴型时，无法准确检测谁在说话。 融合让模型拥有“听不清时看口型，看不清时听声音”的互补鲁棒性。

• 在音视频理解与说话人日志（Diarization）中的实际位置
• 说话人日志中的晚期融合：音频聚类给出一份“谁在第几秒说了话”的时间线，人脸识别给出一份“谁在画面中露脸”的时间线，最后通过匈牙利匹配算法或分数加权硬对齐。结构简单，老系统常用。
• 视听主动说话人检测（AV-ASD）中的中间融合：先把人脸视频裁切框喂入 3D-CNN/ViT，把语音喂入 1D-CNN/Conformer，然后在第 4~8 层 Transformer 块中加入 Cross-Attention，让唇动特征去调制声学特征。这是目前业界性能最好的标配架构。

思路： 1. 早期融合：通过 `torch.cat` 把音频和视频特征在通道维拼接，送入一个共享 MLP。 2. 晚期融合：音频和视频分别通过独立的分类头得到分类 Logits，最后加权求和。 3. 中间融合：音频和视频映射到相同隐藏维度，用简易 `MultiheadAttention` 做交叉交互，再拼接送入分类头。

完整可运行代码如下：

import torch
import torch.nn as nn
import torch.nn.functional as F

class MultiModalFusionToy(nn.Module):
    def __init__(self, audio_dim=64, video_dim=128, hidden_dim=32, num_classes=2):
        super().__init__()
        
        # 1. 早期融合所需网络：直接吃拼接后的输入
        self.early_classifier = nn.Sequential(
            nn.Linear(audio_dim + video_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, num_classes)
        )
        
        # 2. 晚期融合所需网络：各自独立的分类网络
        self.late_audio_branch = nn.Sequential(
            nn.Linear(audio_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, num_classes)
        )
        self.late_video_branch = nn.Sequential(
            nn.Linear(video_dim, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, num_classes)
        )
        self.late_weight = nn.Parameter(torch.tensor(0.5))  # 可学习的决策权重
        
        # 3. 中间融合所需网络：映射到相同维度后进行交叉注意力交互
        self.audio_proj = nn.Linear(audio_dim, hidden_dim)
        self.video_proj = nn.Linear(video_dim, hidden_dim)
        # 音频去查视频的 Cross-Attention (Query=Audio, Key/Value=Video)
        self.cross_attn = nn.MultiheadAttention(embed_dim=hidden_dim, num_heads=2, batch_first=True)
        self.intermediate_classifier = nn.Sequential(
            nn.Linear(hidden_dim * 2, hidden_dim),
            nn.ReLU(),
            nn.Linear(hidden_dim, num_classes)
        )

    def forward_early(self, a, v):
        # 输入直接拼接: [B, Da + Dv]
        x_early = torch.cat([a, v], dim=-1)
        return self.early_classifier(x_early)

    def forward_late(self, a, v):
        # 各自分支独立出 Logits: [B, num_classes]
        logits_a = self.late_audio_branch(a)
        logits_v = self.late_video_branch(v)
        # 加权融合 (用 sigmoid 限制权重在 0~1 之间)
        w = torch.sigmoid(self.late_weight)
        return w * logits_a + (1 - w) * logits_v

    def forward_intermediate(self, a, v):
        # 先提取中间特征并对齐维度: [B, 1, hidden_dim]
        feat_a = self.audio_proj(a).unsqueeze(1)
        feat_v = self.video_proj(v).unsqueeze(1)
        
        # 交叉注意力：音频关注视频信息
        attn_out, _ = self.cross_attn(query=feat_a, key=feat_v, value=feat_v)
        
        # 融合特征：结合原始音频特征与交互后特征 [B, hidden_dim * 2]
        feat_fused = torch.cat([feat_a.squeeze(1), attn_out.squeeze(1)], dim=-1)
        return self.intermediate_classifier(feat_fused)

if __name__ == "__main__":
    torch.manual_seed(42)
    B = 2
    audio_feat = torch.randn(B, 64)   # 模拟音频嵌入向量
    video_feat = torch.randn(B, 128)  # 模拟人脸/唇形嵌入向量
    
    model = MultiModalFusionToy(audio_dim=64, video_dim=128, hidden_dim=32, num_classes=2)
    
    out_early = model.forward_early(audio_feat, video_feat)
    out_late = model.forward_late(audio_feat, video_feat)
    out_inter = model.forward_intermediate(audio_feat, video_feat)
    
    print(f"输入音频形状: {audio_feat.shape}, 视频形状: {video_feat.shape}")
    print(f"早期融合输出: {out_early.shape} -> \n{out_early}")
    print(f"晚期融合输出: {out_late.shape} -> \n{out_late}")
    print(f"中间融合输出: {out_inter.shape} -> \n{out_inter}")