每日基础课

听我慢慢拆解，其实它就像速记员在听写：

1. 生活类比： 耳朵听到的是连续气流震动（音频波形）。 速记员第一步：脑子不会直接处理空气分子运动，而是把声音按几毫秒一小截切开，辨认音色和高低音（提取特征/梅尔谱）。 速记员第二步：辨别每一截声音最像拼音里的哪个音节，比如“zh-āng”（声学模型）。 速记员第三步：光听音节容易同音异义，速记员结合整句话的语义，把“zh-āng sān”定稿为“张三”而不是“章三”（解码器与语言模型）。

2. 核心数学表达： ASR 的终极目标就是找一串最可能的文本序列 $W$： $$\hat{W} = \arg\max_W P(W \mid X)$$

符号逐个看： - $X = [x_1, x_2, \dots, x_T]$：输入的声学特征帧序列。比如把 1 秒声音切成 100 帧梅尔特征。 - $W = [w_1, w_2, \dots, w_U]$：输出的文字序列。比如“今天天气不错”。 - $P(W \mid X)$：在听到声音 $X$ 的前提下，说出文字 $W$ 的后验概率。 - $\arg\max_W$：在所有可能的文字组合里，挑出使概率最大的那一条路径。

• 它解决什么问题？没有它会怎样？
• 解决的问题：声音采样点维度极高（1秒就是 16000 个浮点数），且语速快慢不一。直接从波形映射到文字，维度和对齐都对不上。流水线把“连续物理信号”逐级降维成“离散符号语义”。
• 没有它会怎样：计算机面对声音就如面对一堆杂乱无章的正弦波噪声。下游的大语言模型（LLM）、音视频检索系统根本拿不到文字输入。

4. 学习建议： 想按章节系统补齐音频特征与主流模型，推荐看 Hugging Face Audio Course；想动手运行音频特征提取与推理示例，推荐直接翻 TorchAudio Tutorials。

思路： 1. 造一段虚拟音频信号（正弦波叠加噪声）。 2. 用短时傅里叶变换（STFT）模拟特征提取，得到时频矩阵。 3. 构建小型 Linear/Conv 模拟声学模型，输出词表每个字符的预测概率分布。 4. 手写一个 CTC 贪心解码器（去重 + 去 Blank 占位符），跑通输出。

完整可运行代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

# 1. 词表定义 (0 号留给 CTC 的空白占位符 Blank)
VOCAB = ["<blank>", "h", "e", "l", "o", "w", "r", "d"]
char2idx = {c: i for i, c in enumerate(VOCAB)}
idx2char = {i: c for i, c in enumerate(VOCAB)}

# 2. 模拟声学模型 (特征 -> 发音单元概率)
class SimpleAcousticModel(nn.Module):
    def __init__(self, freq_bins=65, vocab_size=len(VOCAB)):
        super().__init__()
        # 简单两层全连接，模拟将声学特征降维映射到词表
        self.fc = nn.Sequential(
            nn.Linear(freq_bins, 32),
            nn.ReLU(),
            nn.Linear(32, vocab_size)
        )

    def forward(self, x):
        # x 形状: (Batch, Freq, Time) -> 变换为 (Batch, Time, Freq)
        x = x.transpose(1, 2)
        logits = self.fc(x)  # (Batch, Time, Vocab_size)
        return logits

# 3. CTC 贪心解码器 (核心机制：合并连续相同项，去除 blank)
def ctc_greedy_decode(logits, idx2char):
    # 取每一帧概率最大的 token 索引
    best_path = torch.argmax(logits, dim=-1) # (Batch, Time)
    batch_results = []
    
    for seq in best_path:
        decoded_tokens = []
        prev_token = None
        for token_id in seq.tolist():
            # 规则 1: 连续重复 token 合并为一个
            if token_id != prev_token:
                # 规则 2: 过滤掉 blank 占位符 (0)
                if token_id != 0:
                    decoded_tokens.append(idx2char[token_id])
                prev_token = token_id
        batch_results.append("".join(decoded_tokens))
    return batch_results

# 4. 主流水线测试
def main():
    torch.manual_seed(42)
    print("=== ASR 流水线启动 ===")
    
    # 步骤 A: 模拟 16kHz 音频波形 (1 秒, 16000 采样点)
    batch_size = 1
    sample_rate = 16000
    waveform = torch.randn(batch_size, sample_rate)
    print(f"1. 输入波形形状: {waveform.shape}")

    # 步骤 B: 前端特征提取 (STFT 变换成时频谱图)
    n_fft = 128
    hop_length = 64
    window = torch.hann_window(n_fft)
    stft_out = torch.stft(waveform, n_fft=n_fft, hop_length=hop_length, 
                          window=window, return_complex=True)
    # 取幅度谱
    spectrogram = torch.abs(stft_out) 
    print(f"2. 声学特征 (频域 x 帧数): {spectrogram.shape}")  # (1, 65, 251)

    # 步骤 C: 声学模型推理
    model = SimpleAcousticModel(freq_bins=spectrogram.shape[1], vocab_size=len(VOCAB))
    logits = model(spectrogram)
    probs = F.softmax(logits, dim=-1)
    print(f"3. 声学模型输出分布: {probs.shape} (Batch, 帧数, 词表大小)")

    # 步骤 D: CTC 解码
    decoded_text = ctc_greedy_decode(probs, idx2char)
    print(f"4. 最终解码文本输出: '{decoded_text[0]}'")
    print("=== ASR 流水线完成 ===")

if __name__ == "__main__":
    main()