每日基础课

1. 生活类比：速记员听写 想象你是一名同传速记员： - 耳朵接收声音震动（原始波形）。 - 大脑把连续声音拆成一小段一小段的音色特征（声学特征提取）。 - 凭借发音常识，判断每一瞬间大概是哪个音素或拼音（声学模型）。 - 结合上下文语法，把“ni-hao”拼成“你好”，并去掉结巴重复（语言模型与解码器）。

2. 核心数学公式与符号 ASR 的本质是一个条件概率最大化问题： $$\hat{W} = \arg\max_{W} P(W|X)$$

符号逐个拆解： - $X = (x_1, x_2, \dots, x_T)$：输入的声学特征序列（比如每帧 25ms 的 Mel 频谱向量，$T$ 是总帧数）。 - $W = (w_1, w_2, \dots, w_U)$：输出的目标文本序列（词或字，$U$ 是总字数，通常 $U \ll T$）。 - $P(W|X)$：在听到音频特征 $X$ 的条件下，对应文本是 $W$ 的概率。 - $\arg\max_W$：在所有可能的文本组合中，找出概率最大的那个。

3. 它解决什么问题？没有它会怎样？ - 解决的问题：把模拟连续的声学时域信号，映射到人类离散的语义符号系统，并解决“音频帧数（比如 1000 帧）与文字数量（比如 20 个字）严重不匹配”的时序对齐问题。 - 没有它会怎样：计算机眼中的音频只是一串无意义的振幅浮点数。没有 ASR，音视频检索、智能助手、会议纪要和多模态理解就无法提取声音中的高密度文本信息。

4. 在音视频理解与说话人日志中的真实位置 - 在说话人日志（Diarization）中：Diarization 负责回答“谁在什么时候说话（Who spoke when）”，ASR 负责回答“说了什么（What was said）”。工程上通常先做 VAD（人声检测）和 Diarization 切分出说话人音频片段，再送进 ASR 流水线，最后将“人名 + 时间戳 + 文字”拼成带身份的会议纪要。 - 在音视频大模型中：ASR 流水线常作为前端特征提取器或文字引导器，将音频信号快速转为文本轨迹（Transcript），极大减轻主模型直接理解长音频的负担。

实现思路： 1. 音频输入：生成 1 秒采样率 16000Hz 的假音频信号。 2. 特征提取：用 `torchaudio.transforms.MelSpectrogram` 提取 80 维 Log-Mel 谱。 3. 极简声学模型：用一个简单的 1D 卷积/线性层，将时序特征投影到词表大小的类别概率分布上。 4. CTC 贪心解码：手动实现 CTC 贪心解码算法（取 argmax -> 去除相邻重复 -> 去除 blank）。

import torch
import torch.nn as nn
import torchaudio.transforms as T

# 1. 词表定义 (0 号留给 CTC Blank)
VOCAB = ["<blank>", "h", "e", "l", "o", "w", "r", "d", " "]
vocab_map = {i: ch for i, ch in enumerate(VOCAB)}
VOCAB_SIZE = len(VOCAB)

# 2. 模拟音频输入 (Batch=1, 采样率 16kHz, 持续 1 秒)
SAMPLE_RATE = 16000
audio_waveform = torch.randn(1, SAMPLE_RATE)  # [B, Num_Samples]

# 3. 特征提取模块：Log-Mel Spectrogram
mel_extractor = T.MelSpectrogram(
    sample_rate=SAMPLE_RATE,
    n_fft=400,          # 窗长 25ms
    hop_length=160,      # 帧移 10ms (每秒产生 100 帧)
    n_mels=80
)
mel_spec = mel_extractor(audio_waveform)  # [B, n_mels, T]
log_mel_spec = torch.log(mel_spec + 1e-6).permute(0, 2, 1)  # [B, T, n_mels]

# 4. 极简声学模型 (特征维度 80 -> 预测词表分布 VOCAB_SIZE)
class ToyAcousticModel(nn.Module):
    def __init__(self, in_features, num_classes):
        super().__init__()
        self.encoder = nn.Sequential(
            nn.Linear(in_features, 64),
            nn.ReLU(),
            nn.Linear(64, num_classes)
        )
    def forward(self, x):
        return self.encoder(x)  # [B, T, num_classes]

model = ToyAcousticModel(in_features=80, num_classes=VOCAB_SIZE)
logits = model(log_mel_spec)  # [B, T, num_classes]
probs = torch.softmax(logits, dim=-1)

# 5. CTC 贪心解码函数 (核心逻辑)
def ctc_greedy_decode(probs, vocab_map, blank_idx=0):
    """
    输入: probs [T, VOCAB_SIZE]
    输出: 解码后的文本字符串
    """
    # 步骤 A: 每一帧挑概率最大的 token id
    best_tokens = torch.argmax(probs, dim=-1).tolist()
    
    # 步骤 B: 去除连续重复的 token
    collapsed = []
    prev = None
    for token in best_tokens:
        if token != prev:
            collapsed.append(token)
            prev = token
            
    # 步骤 C: 去除 blank 占位符并拼接为字符
    decoded_chars = [vocab_map[token] for token in collapsed if token != blank_idx]
    return "".join(decoded_chars)

# 6. 执行解码
pred_text = ctc_greedy_decode(probs[0], vocab_map, blank_idx=0)

print(f"1. 输入音频形状: {audio_waveform.shape} (1 秒音频)")
print(f"2. Log-Mel 特征形状: {log_mel_spec.shape} (T=101帧, Mel=80维)")
print(f"3. 声学模型输出形状: {logits.shape} (每帧给出 {VOCAB_SIZE} 个类别得分)")
print(f"4. 最终解码输出: '{pred_text}' (未训练模型输出随机字符)")