每日基础课

一句话定义：矩阵乘法本质上是用一组基准向量去重新衡量输入数据，一次性完成“特征维度变换”与“信息线性聚合”。

生活类比（音视频打分器）： 想象你正在做说话人情绪识别。 左边矩阵是 3 个音频切片（行），每个切片提取了 4 个物理特征（列）：音高、音量、语速、清浊比。 右边矩阵是 2 位专家（列）： - 专家 A（激动度专家）：给音高、音量配高权重，语速配中权重。 - 专家 B（疲劳度专家）：给语速配负权重，音量配负权重。 矩阵乘法就是让每段音频分别经过这两位专家的加权评估，最终输出一个 3 行 2 列的新矩阵（3 个切片各自在“激动度”和“疲劳度”上的得分）。

必要公式与符号解释： 若 $C = A \times B$： $$C_{i, j} = \sum_{k=1}^{K} A_{i, k} B_{k, j}$$ - $A \in \mathbb{R}^{M \times K}$：输入数据矩阵（$M$ 个音频帧，$K$ 维原始特征）。 - $B \in \mathbb{R}^{K \times N}$：变换权重矩阵（包含 $N$ 个输出通道，每个通道由 $K$ 个权重组成）。 - $C \in \mathbb{R}^{M \times N}$：输出矩阵（$M$ 个音频帧被映射到了新的 $N$ 维语义空间）。 - $k$：求和索引。它把 $A$ 的第 $i$ 行向量与 $B$ 的第 $j$ 列向量做点积，完成跨通道的信息融合。

它解决什么问题？没有它会怎样？ - 解决的问题：将分散、低维的物理特征并行变换并聚合为紧凑、高维的任务特征。 - 没有它：神经网络无法改变特征维度，无法把 80 维声学梅尔频谱映射成 192 维说话人向量，且只能写慢速的 Python 多层 for 循环，无法借助 GPU 进行大规模并行加速。

在音视频与说话人日志中的实际位置： 1. 说话人嵌入提取（如 ECAPA-TDNN / x-vector）：全连接层内部的核心就是矩阵乘法，负责将时间帧序列特征投影到说话人判别空间。 2. 多模态与自注意力机制（Self-Attention）：生成 $Q, K, V$ 投影（$X \times W$），以及计算音频帧与视频帧之间的匹配矩阵（$Q \times K^T$），全程都是矩阵乘法。

学习建议： 建议参考《Dive into Deep Learning》的线性代数章节，先看直觉和公式，再运行章节中的代码以加深理解；同时配合《PyTorch Tutorials》对照官方示例掌握张量与训练写法。

思路： 1. 先用 Python 三重循环写出最原始的矩阵乘法，拆解每一个数值是怎么算出来的。 2. 调用 PyTorch 的 `@` (`torch.matmul`) 算子实现相同逻辑，体验向量化操作。 3. 模拟说话人日志中的真实场景： - 场景 A：80 维 Fbank 特征投影到 16 维空间（线性变换）。 - 场景 B：特征与自身转置相乘，计算帧与帧之间的自相关矩阵（自注意力打分）。

完整可运行代码：

import torch

def manual_matrix_multiplication(A: torch.Tensor, B: torch.Tensor) -> torch.Tensor:
    """
    用纯 Python 循环实现矩阵乘法 C = A @ B
    A 形状: (M, K)
    B 形状: (K, N)
    C 形状: (M, N)
    """
    M, K_A = A.shape
    K_B, N = B.shape
    assert K_A == K_B, f"维度不匹配: A 的列数 {K_A} 必须等于 B 的行数 {K_B}"
    
    # 1. 初始化输出矩阵
    C = torch.zeros((M, N), dtype=A.dtype)
    
    # 2. 三重循环计算
    for i in range(M):          # 遍历 A 的每一行（每个样本/时间步）
        for j in range(N):      # 遍历 B 的每一列（每个新特征通道）
            dot_sum = 0.0
            for k in range(K_A):# 跨维度累加求和（通道加权融合）
                dot_sum += A[i, k] * B[k, j]
            C[i, j] = dot_sum
    return C

def main():
    torch.manual_seed(42)
    
    # 模拟输入：4 个时间步的音频帧，每帧 80 维梅尔特征
    num_frames = 4
    input_dim = 80
    audio_frames = torch.randn(num_frames, input_dim)
    print(f"输入音频帧形状: {audio_frames.shape}")
    
    # 任务 1：特征投影 (80 维 -> 16 维说话人判别空间)
    target_dim = 16
    projection_weight = torch.randn(input_dim, target_dim)
    
    # 手写计算 vs 原生计算
    out_manual = manual_matrix_multiplication(audio_frames, projection_weight)
    out_torch = torch.matmul(audio_frames, projection_weight)
    
    diff_projection = torch.max(torch.abs(out_manual - out_torch)).item()
    print(f"投影输出形状: {out_torch.shape}")
    print(f"任务 1 手写与原生算子最大绝对误差: {diff_projection:.2e}")
    assert diff_projection < 1e-5, "任务 1 计算结果不一致！"
    
    # 任务 2：计算帧与帧之间的关联度矩阵 (4, 16) @ (16, 4) -> (4, 4)
    # 这正是 Transformer 注意力机制中的 Q @ K^T 核心步骤
    projected_feats = out_torch
    similarity_matrix = projected_feats @ projected_feats.T
    
    print(f"帧间关联矩阵形状: {similarity_matrix.shape}")
    print("帧间关联度打分矩阵:\n", similarity_matrix)

if __name__ == "__main__":
    main()