每日基础课

一句话定义：视频帧就是视频里每一张静止的画面，时间维（$T$）就是把这些画面按发生先后穿起来的那根“时间轴”。

生活类比： 想象小时候玩过的“手翻书动画小人”。 - 书里的每一页纸，就是一帧（Frame）。 - 翻动书页的过程，就是沿着时间维（Time Dimension）在展开。 - 翻得越快，每秒翻过的页数（FPS）越多，小人的动作就越丝滑。

核心公式与符号拆解： $$T = \text{Duration} \times \text{FPS}$$ - $T$（Temporal Dimension Size）：时间维的长度，即模型一次接收的总帧数。 - $\text{Duration}$：视频的实际时长（单位：秒）。 - $\text{FPS}$（Frames Per Second）：每秒帧数。例如 25 FPS 表示 1 秒包含 25 张连续图片。 - 时间采样间隔 $\Delta t = \frac{1}{\text{FPS}}$：两帧之间相隔的物理时间。

在深度学习张量中，一段视频通常表示为 5D 形状： $$(B, C, T, H, W) \quad \text{或} \quad (B, T, C, H, W)$$ - $B$：批大小（Batch Size，视频段数）。 - $C$：颜色通道数（RGB 为 3）。 - $T$：时间维（帧数）。 - $H, W$：每一帧画面的高和宽（空间维）。

它解决什么问题？没有它会怎样？ - 解决的问题：捕捉“事物是如何随时间变化的”。比如人脸嘴唇开合、发音起伏、身体位移、动作先后顺序。 - 没有它会怎样：模型只能看到孤立的单张照片。它分不清一句话从哪开始说到哪结束；分不清人是在“张嘴说话”还是“打哈欠”；在说话人日志（Diarization）中，更无法精准回答“谁在什么时候说了什么”。

思路： 1. 构造一个 2 秒、25 FPS 的 5D 视频张量 $(B, C, T, H, W)$，并模拟一个 100 FPS 的音频特征张量 $(B, D, T_a)$。 2. 演示空间卷积处理（将 $T$ 压入 Batch 维，用 2D CNN 处理，再还原回时序）。 3. 沿时间维进行时序平均池化与时间维插值对齐（把视频的 $T=50$ 对齐到音频的 $T_a=200$）。

完整可运行代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

# 设置随机种子保证结果可复现
torch.manual_seed(42)

# 1. 模拟输入数据
batch_size = 2
duration = 2          # 2 秒
video_fps = 25        # 视频 25 帧/秒 -> T = 50
audio_fps = 100       # 音频 100 帧/秒 -> T_audio = 200

T_video = duration * video_fps
T_audio = duration * audio_fps
C, H, W = 3, 112, 112 # 视觉: RGB图像 112x112
D_audio = 80          # 音频: 80 维梅尔滤波特征

video_tensor = torch.randn(batch_size, C, T_video, H, W)
audio_tensor = torch.randn(batch_size, D_audio, T_audio)

print(f"[1] 原始视频张量 (B, C, T, H, W): {video_tensor.shape}")
print(f"    原始音频张量 (B, D, T_a):     {audio_tensor.shape}\n")

# 2. 空间特征提取（保持时间维不变）
# 技巧：将 (B, C, T, H, W) 转为 (B*T, C, H, W)，使用 2D CNN 单帧提取特征
B, C, T, H, W = video_tensor.shape
# 交换维度使 T 在第二位，然后打平
video_frames = video_tensor.permute(0, 2, 1, 3, 4).reshape(B * T, C, H, W)

# 简易空间特征提取器：卷积 + 全局平均池化 -> 输出 128 维特征
spatial_encoder = nn.Sequential(
    nn.Conv2d(3, 32, kernel_size=3, stride=2, padding=1), # [B*T, 32, 56, 56]
    nn.AdaptiveAvgPool2d((1, 1)),                          # [B*T, 32, 1, 1]
    nn.Flatten(),                                          # [B*T, 32]
    nn.Linear(32, 128)                                     # [B*T, 128]
)

frame_features = spatial_encoder(video_frames) # [B*T, 128]
# 恢复时间维: [B, T, Feature_Dim]
video_feat_seq = frame_features.reshape(B, T, 128)
print(f"[2] 经过空间编码并还原时间维后 (B, T, D_v): {video_feat_seq.shape}\n")

# 3. 时间维操作：时序对齐 (Temporal Alignment)
# 目标：将视频时序维度 T (50) 插值对齐到音频维度 T_audio (200)
# interpolate 要求输入格式为 (B, Channel/Feature, Length)
video_feat_transposed = video_feat_seq.permute(0, 2, 1) # [B, 128, 50]
video_aligned = F.interpolate(video_feat_transposed, size=T_audio, mode='linear', align_corners=False)

print(f"[3] 沿时间维线性插值对齐后 (B, D_v, T_aligned): {video_aligned.shape}")

# 4. 音视频沿特征维拼接（此时时间维完全对齐，均为 200）
av_fused = torch.cat([video_aligned, audio_tensor], dim=1) # [B, 128 + 80, 200]
print(f"[4] 音视频时间同步融合张量 (B, D_v+D_a, T_audio): {av_fused.shape}")