每日基础课

一句话定义： CTC（Connectionist Temporal Classification，联结主义时间分类）是一种损失函数，它允许神经网络在不知道每一毫秒具体对应哪个字的情况下，直接把长语音（或视频帧）翻译成短文本。

记忆口诀： “重复合并空符隔，穷举路径求总和。”

---

### 1. 生活类比：连笔字与拖长音 想象你听录音记笔记。说话人拖长音说了“啊——好”。 音频切成切片，模型在 10 个时间片里识别出：`啊 啊 啊 空白 好 好`。 * 如果没有空符，把连续字合并，`啊啊啊` 变成 `啊`，`好好` 变成 `好`，最终得到“啊好”。 * 如果要表达连续两个“天”（比如“天天”），模型就在中间插一个空白符：`天 天 空白 天 天` $\rightarrow$ 折叠后得到“天天”。

你不需要拿秒表精确掐出“第 0.12 秒到 0.45 秒是‘啊’”，CTC 的对齐坍缩规则会自动把拖音和空白处理成正确的文字。

---

### 2. 核心公式与符号拆解 CTC 的目标是最大化“所有能坍缩成目标文本 $Y$ 的可能路径”的总概率。损失函数就是它的负对数似然：

$$\mathcal{L}_{\text{CTC}} = -\ln P(Y|X) = -\ln \sum_{\pi \in \mathcal{B}^{-1}(Y)} P(\pi|X)$$

• $X$：输入的特征序列（例如 100 帧语音梅尔频谱）。
• $Y$：目标文本序列（例如 3 个字“去吃饭”）。
• $\pi$：模型在时间步 $1 \dots T$ 上输出的某一条具体路径（如 `去-去-吃-饭-饭`）。
• $\mathcal{B}$：坍缩映射函数。规则是：① 连续相同字符合并；② 删掉空白符（blank，记为 $\epsilon$）。
• 例子：$\mathcal{B}(\text{去 去 } \epsilon \text{ 吃 饭 饭}) = \text{去吃饭}$。
• $\mathcal{B}^{-1}(Y)$：所有经过 $\mathcal{B}$ 处理后能变成 $Y$ 的路径集合。
• $P(\pi|X)$：路径 $\pi$ 的概率。CTC 假设每一帧独立预测，因此等于各帧概率连乘：$\prod_{t=1}^T P(\pi_t | X)$。

因为合法路径极多，CTC 采用前向-后向算法（动态规划）在多项式时间内算出这个总和并求导。

---

### 3. 它解决什么问题？没有它会怎样？ * 解决的问题：输入序列长度 $T$（如音频 1000 帧）远大于输出序列长度 $U$（如文本 10 个字），且没有人工做逐帧时间对齐。 * 没有它会怎样：你必须雇大量标注员，精确标出“第几帧到第几帧是哪个字”，用普通的交叉熵损失逐帧监督。这在工业界规模上成本极高，且发音边界本身模糊，人工标注误差极大。

---

### 4. 在音视频与说话人日志中的实际位置 * 语音识别 (ASR)：放在声学编码器（如 Conformer、Wav2Vec 2.0）的顶层，编码器每帧输出一个概率分布，直接接 CTCLoss 进行端到端训练。 * 音视频与说话人日志 (Diarization)：在多说话人重叠语音场景中，CTC 常作为多任务辅助损失（如 CTC-based Overlap-Aware ASR），帮助模型在不知道具体交叠边界的情况下，将多轨混合音频分离并转写。 * 学习建议：想直观看到网格路径如何动态规划合并，推荐精读《Distill：CTC 可视化讲解》；想知道工程上张量怎么输入，直接查阅《PyTorch CTCLoss 文档》。

### 实现思路 1. 定义词表：设定 0 号为 `blank` 占位符，其余为有效字符。 2. 构建输入：CTC 损失要求输入为 log 概率，维度通常为 `(T, N, C)` 即 `(时间步, Batch大小, 类别数)`。 3. 调用 `nn.CTCLoss`：传入预测 log 概率、目标文本、输入时间步长度、目标文本长度。 4. 贪心解码：对预测概率取 argmax，编写坍缩函数验证重复合并与去 blank 逻辑。

### 完整可运行代码

import torch
import torch.nn as nn

# 1. 基础配置与模拟数据
# 词表：0: blank(-), 1: 'A', 2: 'B', 3: 'C'
VOCAB = ["-", "A", "B", "C"]
NUM_CLASSES = len(VOCAB)
BLANK_IDX = 0

T = 8       # 输入时间步（帧数）
BATCH_SIZE = 2

# 模拟声学模型输出的 Logits，形状: (T, Batch, Num_Classes)
torch.manual_seed(42)
raw_logits = torch.randn(T, BATCH_SIZE, NUM_CLASSES)
log_probs = raw_logits.log_softmax(dim=-1)  # CTC 强制要求 log_probs

# 目标标签 targets
# 样本 1 目标: "A B" -> [1, 2] (长度 2)
# 样本 2 目标: "B A B" -> [2, 1, 2] (长度 3)
targets = torch.tensor([
    [1, 2, 0],       # 填充对齐用 0（不影响，以 target_lengths 为准）
    [2, 1, 2]
], dtype=torch.long)

input_lengths = torch.tensor([8, 8], dtype=torch.long)    # 每个样本的有效帧数 T
target_lengths = torch.tensor([2, 3], dtype=torch.long)   # 每个样本的目标真实字数 U

# 2. 实例化并计算 CTC Loss
ctc_loss_fn = nn.CTCLoss(blank=BLANK_IDX, reduction='mean', zero_infinity=True)
loss = ctc_loss_fn(log_probs, targets, input_lengths, target_lengths)

print(f"=== 1. 损失计算 ===")
print(f"CTC Loss: {loss.item():.4f}\n")

# 3. 贪心解码（Greedy Decode）实现与验证
def ctc_greedy_decode(log_probs_seq, blank=0):
    """
    log_probs_seq: (T, Num_Classes)
    对单条样本进行 argmax 坍缩
    """
    # 步骤 A: 取每一帧概率最大的 token
    pred_indices = torch.argmax(log_probs_seq, dim=-1).tolist()
    
    # 步骤 B: 坍缩（连续去重 + 删 blank）
    decoded = []
    prev_idx = None
    for idx in pred_indices:
        if idx != prev_idx:          # 连续相同的折叠
            if idx != blank:          # 删掉 blank
                decoded.append(idx)
        prev_idx = idx
    return pred_indices, decoded

print(f"=== 2. 解码验证 ===")
for b in range(BATCH_SIZE):
    seq_log_prob = log_probs[:, b, :]  # 取出第 b 个样本: (T, C)
    raw_preds, final_preds = ctc_greedy_decode(seq_log_prob, blank=BLANK_IDX)
    
    raw_str = "".join([VOCAB[i] for i in raw_preds])
    final_str = "".join([VOCAB[i] for i in final_preds])
    target_str = "".join([VOCAB[targets[b][i].item()] for i in range(target_lengths[b].item())])
    
    print(f"样本 {b+1}:")
    print(f"  帧级原始预测 : {raw_str}")
    print(f"  CTC 坍缩结果 : {final_str}")
    print(f"  真实目标文本 : {target_str}")